第281章 到底咋写

案。2定义和背景为了更好地了解激发多模态检索增强的现状和进展，我们首先定义并讨论了两个关键概念的背景：多模态学习和检索增强生成（RAG）。2.1多模态学习多模态学习是指学习不同模态数据的统一表征。它的目的是提取互补信息，以促进合成任务的完成（Baltrusaitis

et

s

et

al.,

2018;

Gao

et

al.,

2020).

在这项调查中，我们包括了所有格式不同于自然语言的模式，其中包括图像、代码、结构化知识（如......例如

表、知识图谱）、音频和视频。

3多模态检索增强生成每种模式都有不同的检索和合成程序、目标任务和挑战。因此，我们按图像、代码、结构化知识、音频和视频等模式对相关方法进行分组讨论。3.1图像预训练模型的最新进展为一般图像文本多模态模型提供了启示。

然而，这些模型需要大量的计算资源进行预训练，并需要大量的模型参数因为它们需要记忆大量的世界知识。更关键的是，它们无法有效处理新知识或领域外知识。为此，人们提出了多种检索增强方法，以更好地整合图像和文本文档中的外部知识。在一般的文本生成任务中，图像检索也可以通过扩展文本生成语境来提高生成质量，从而增加

"想象力"。视觉问题解答（VQA）

&

本章未完，请点击下一页继续阅读！ 第3页 / 共7页