mt5使用教程以及支持 100 多种语言的文本本月初，微软更是揭晓了 166 页的众模态版 GPT-4V 的干系文档，细致讨论了 GPT-4V 的功效和应用情形，这一作为惹起了业界的寻常闭切。

　　咨询职员应用分类标的预锻练的视觉变换器（ViT）模子与比照性预锻练的模子（SigLIP）实行了比拟，结果察觉，PaLI-3 固然正在程序图像分类基准上略微浮现不佳，但基于 SigLIP 的 PaLI 正在各类众模态基准测试中浮现出卓着的职能，异常是正在定位和文本懂得方面。

　　咨询团队以为，仅有 50 亿参数的 PaLI-3 从新点燃了闭于庞大 VLM 焦点构成个人的咨询，恐怕饱舞新一代范畴更大的模子的繁荣。

　　近来，大型视觉言语模子正在其更大的模子中应用预锻练的图像编码器，此中少少应用监视分类实行预锻练（如PaLI，PaLI-X，Flamingo，PaLM-E），少少应用预锻练的CLIP编码器（如BLIPv2，CrossTVR，ChatBridge，另有少少应用自界说众模态预锻练（如 BEiT3，CoCa，SimVLM）。

　　本次咨询的锻练要领包含三个紧要构成个人：正在收集范畴的图像文本数据进取行图像编码器的比照性预锻练，改革的 PaLI 众模态锻练数据混杂以及以更高诀别率实行锻练。

　　正在单模态预锻练阶段，图像编码器正在 Web 上的图像文本配对上采用 SigLIP 锻练合同实行比照预锻练。咨询职员采用了一种基于模子的过滤要领，保存了大约 40% 的配对。图像编码器正在 224×224 的诀别率下实行锻练。文本编码器-解码器是一个 3B UL2 模子，遵循混杂去噪次序实行锻练。

　　正在众模态锻练阶段，咨询职员将图像编码器与文本编码器-解码器连系正在一齐，造成了 PaLI 模子。这个模子针对众模态职分实行锻练，维系图像编码器的冻结状况，应用原生诀别率（224×224）。

　　紧要的数据混杂来自 WebLI 数据集，颠末筛选和应用特定的锻练标的。其他元素包含众言语字幕、OCR 处置、跨言语 VQA 和 VQG、物体感知 VQA 以及物体检测。固然没有包含来自视频的职分或数据，但因为巨大的图像编码器，PaLI-3 正在这些基准上依然具有竞赛力。其它，通过向 WebLI 增添了蕴涵众多文本和收集图像（如海报或文档）的 PDF 文档，以及维持 100 众种言语的文本，文档和图像懂得才气获得了进一步的普及。

　　正在普及诀别率阶段，咨询通过对一切模子实行微调（解冻图像编码器）并应用慢慢填充诀别率的短期课程来普及 PaLI-3 的诀别率，维系正在 812×812 和 1064×1064 诀别率处的搜检点。数据混杂紧要聚会正在涉及视觉定位文本和物体检测的个人。

　　起初，咨询职员正在 PaLI 框架内实行了对差别的 ViT 模子的有节制的比拟。结果察觉，固然 SigLIP 模子的少样本线性分类职能较差，但当正在 PaLI-3 中应用时，SigLIP 模子正在简略职分（如字幕和问答）上供应了适度的职能提拔，并正在更庞大的场景文本和空间懂得职分（如 TextVQA 和 RefCOCO 变体）上供应了大幅提拔。

　　随后，咨询又正在视觉定位文本懂得职分中评估了 PaLI-3，这些数据聚会的图像涉及自然图像、插图、文档和用户界面等各类范畴。PaLI-3 正在绝大无数字幕和 VQA 基准上，无论是否有外部 OCR 输入，都赢得了最先辈的职能。独一的不同是 AI2D 和 ChartQA，它们不但须要懂得，还须要对图外实行巨大的推理才气。对付这两个基准，PaLI-3 稍微落伍于 PaLI-X。

　　别的，咨询职员还扩展了 PaLI-3 的功效，使其或许通过言语肖似的输出来预测豆割遮罩。测验结果证据，对付这品种型的定位职分，比照预锻练要比分类预锻练更为有用。完好的 PaLI-3 模子或许正在指代外达豆割方面稍微优于最先辈的要领。

　　正在自然图像懂得个人，咨询对 PaLI-3 正在通用视觉言语懂得职分进取行了评估，包含 COCO 字幕和 VQAv2，纵然与近来的 SOTA 模子比拟，PaLI-3 的范畴要小得众，但正在这些基准上浮现分外出众。

　　总而言之，正在本咨询中，咨询职员深切咨询了 VLM 中图像编码器的预锻练，异常是 PaLI 类型的模子。咨询初度清楚比拟了分类预锻练和图像文本（比照性）预锻练这两种要领，察觉后者可能带来更好和更高效的 VLM，异常是正在定位和文本懂得职分方面。

　　别的，咨询职员正在论文中指出：“这只是 VLM 的一个小方面，咱们指望这项咨询和其结果或许鞭策对 VLM 锻练的繁众其他方面实行深切讨论。”

转载请注明出处。