第265章好困

处理模块主要包括对电力LCA这个特定领域的英文文献进行选择和初步处理，而后将有关数据全部转化成结构化数据。知识库构建模块主要是将数据向量化并构建向量知识库。Chatbot构建分为功能部分和前端部分，功能包括基于OpenAI的大语言模型基座调用、知识库检索、在线检索；前端部分为web可视化以及UI设计。首先是数据处理模块。数据的范围，我选择了常见的五种发电方式，火力，水力，太阳能，核能，风能。确定每个主题的关键词和大主题生命周期评价后记录所有可能出现的形式，比如说，生命周期评价出现在论文里，可能是LCA，也可能是lifecycle assessment，罗列所有可能性，做到不遗漏数据。

这章没有结束，请点击下一页继续阅读！

在 RAG 技术中，整个过程主要分为三个步骤如图 2.2 所示：索引（ Indexing）、检索

（Retrieval）和生成（Generation）。首先，索引步骤是将大量的文档或数据集合进行预处理，将

其分割成较小的块（chunk）并进行编码，然后存储在向量数据库中。这个过程的关键在于将非结

构化的文本数据转化为结构化的向量表示，以便于后续的检索和生成步骤。接下来是检索步骤，它

根据输入的查询或问题，从向量数据库中检索出与查询最相关的前 k 个 chunk。这一步依赖于高效

的语义相似度计算方法，以确保检索到的 chunk 与查询具有高度的相关性。最后是生成步骤，它将

原始查询和检索到的 chunk 一起输入到预训练的 Transformer 模型（如 GPT 或 BERT）中，生成最

终的答案或文本。这个模型结合了原始查询的语义信息和检索到的相关上下文，以生成准确、连贯

且相关的文本。

RAG 的概念和初步实现是由 Douwe Kiela、Patrick Lewis 和 Ethan Perez 等人在 2020 年首次

提出的。他们在论文《Retrieval-augmented generation for knowledge-intensive nlp tasks》