nbsp;
为了解决开放域的
VQA
问题,RAVQA
(Lin
和
Byrne,
2022b)
通过对检索到的文档进行近似边际化预测,联合训练文档检索器和答案生成模块。它首先利用现有的对象检测、图像标题和光学字符识别(OCR)工具将目标图像转换为文本数据。然后,它执行密集段落检索(DPR)。
也将
LLM
视为隐式知识库,并从
GPT3
中提取相关隐式信息。即插即用
利用
根据初始问题定位相关部分。然后,它对检索到的图像补丁执行图像标题处理,以获取增强上下文。除了纯文本增强上
同时检索文本和图像数据,并将图像作为视觉标记
et
al.,
2023)
检索类似的生物医学图像和标题,并通过不同的网络对其进行编码。图像标题
生成多种风格的标题、
&
本章未完,请点击下一页继续阅读! 第4页 / 共7页