大模型时代的企业转型：RAG技术的进化与挑战

　　从2023年起开始火爆的大语言模型(Large Language Model，LLM)，如GPT/Gemini/通义千问/GLM/文心一言/豆包等，经过了一年多的比拼和进化，已经几乎涵盖了所有通用性、常识性的知识和理解力;

　　与之同时，更多传统行业的企业也被吸引到大语言模型的生态中，探索新AI技术为企业带来实质性的变革。与大模型厂商对通用能力的比拼不同，传统企业更关注大模型通用能力与自身行业或企业内部的垂直领域的知识相结合，以满足企业特有业务场景的述求。

　　垂直领域融合大语言模型对企业垂直领域知识进行融合，主流是两个方向：

　　Fine-Tuning将私域知识标注为训练数据，直接对大模型进行增量训练，提升大模型自身的知识储备和认知能力，这也是大模型厂商持续提升模型能力的方式之一。

　　RAG(Retrieval Augmented Generation)通过在大模型外部构建一套检索体系，解决企业私域知识的提炼和召回问题，并通过prompt让大模型在企业私域知识的背景下返回结果。与Fine-Tuning不同，RAG降低了企业对大模型应用的技术门槛，从去年开始一直是受广大非AI专业企业的热衷。本文从多个RAG实践项目提炼经验，探索如何更好的借助RAG框架为企业进行赋能。

　　RAG的机会与痛点RAG框架的优势在于构建了 Query 和 Generate 的分工机制，在不要求改变大语言模型Generate能力的基础上，实现与企业私域知识的融合。

　　如果没有 Query环节，尽管当下大语言模型的输入宽度最高已经突破百万tokens，但是也难以一次性覆盖企业全部私域知识量;而且如果用户每次问询都伴随巨量tokens的提示词，也是一种性价比极低的方法。所以在当前算力背景下，RAG在大模型应用场景中依然有举足轻重的地位。基础的RAG框架图：然而，企业在实践大模型+RAG框架时，有时候会发现某些情况并不尽人意，尽管大模型的推理和生成能力已经日渐成熟，但是受限于RAG框架下文本片段+向量召回机制下的Query准确率问题，往往制约了大模型本身能力的发挥。如何更好的协同RAG框架下Query和 Generate的能力，一直是大模型应用的探索方向之一。

　　RAG的优化实践为了解决RAG面临的痛点，我们可以把RAG的Query体系归纳为三大环节：知识预处理、用户提问和查询召回。在每个环节下，一步步探索帮助改善Query问题的具体实践：Part1：知识预处理RAG从企业各种类型的文件中提取知识内容，这些内容被切割为知识块，作为检索的最小单元。知识块内容质量的好坏，直接影响到后续检索和生成回复的准确率。

　　这个环节我们可以从两个方面进行改善：

　　文档规范企业可以从文档编写和积累源头，对内容加以规范，从而使其被RAG更准确的提取和切割。我们提供几种格式的规范参考：文本：采用多级标题的段落结构，每个末级标题下的内容不易过长(受切片宽度影响)，每个段落内容必须是完整和清晰的。表格：单行表头的表格最佳，行数据避免使用合并单元格的情况。图片：图片与文字的顺序要清晰，一般word/pdf适合文字上、图片下的布局，ppt可以适合文字上、图片下或文字左、图片右的布局。PDF：PDF通常是用OCR进行文字提取的，对单换行符不敏感，所以对正文的段落划分，建议采用双换行符的方式，便于识别段落。

　　资料来源于网络，详情请点击：IT服务管理（https://www.zknow.com/）