RAG不错用来作念什么？——AIGC催生的产物
2020年，RAG的见地被提议；然后2022年ChatGPT之类的大模子驱动兴起，RAG在知谈大模子的生成上起到了不小的作用。这篇著述，咱们来了解下RAG的基本旨趣和使用场景。
AIGC爆火以后，应时而生的RAG到底皆是什么？为什么会有这些产物呢？
拿大说话模子例如来说，自身的才气很稠密，但也存在一定的缺欠，比如输出的内容天际太泛、输出的内容方式不恰当预期、数据逾期、在专科限制问题胡编乱造等情况，为了克服以上问题，第一种神气是微调，不外生成模子依赖内在学问，即使作念了微调，也曾无法处置幻觉问题。此外，骨子场景中，信息、计谋、数据及时皆在更新，除非对模子进行高频的微调，不然模子的查考速率永久赶不上外部信息更新的速率，而高频微调老本就太高了。
在2020年，检索增强生成RAG（Retrieval-Augmented Generation）的步调被提议，其主要作用访佛搜索引擎，应用外部学问库，找到与用户发问最有关的学问或历史对话，荟萃原始问题，创造信息丰富的Prompt，讨好大模子（LLM）生成更准确的输出。
一、界说
是荟萃了检索技能与生成式东谈主工智能的技能框架，旨在应用外部学问增强模子的申报准确性和陡立文有关性。适用于需要高准确性、限制学问和动态信息的场景。
二、处置的问题
1. 学问更新不足时
数据逾期，关于大模子查考完成之后发生的最新事情，大模子难以给出谜底。
2. 容易产生幻觉
如抓造事实、不按用户指示生成申报。
出现幻觉的原因：查考学问的偏差（海量数据源中含造作信息）、过度泛化的推理（把粗俗的模式推理用到了某些特定场景，以偏概全）、连气儿存在局限性（问题太难，在一些需要深切连气儿与复杂推理的任务重可能出错）、穷乏专科限制的学问（没学过，瞎编一个谜底 ）。
3. 数据安全问题
大说话模子莫得企业里面数据和用户数据，如里面数据上传至云表进行存储和处理，就可能存在数据暴露的风险，RAG就不需要将自迥殊据上传至云表。
三、RAG基本旨趣
1.RAG旨趣如下图：
基本经过才略：学问库准备、镶嵌模子、存入向量数据库、查询检索、生成申报。
第一步：文档分块
学问库不错是恣意文本或集会，文档内容可能异常大，需要将长文本切分为多个小块/段落进行存储，以便高效处理和检索信息（另外一个原因是在向量化阶段，常见的文本编码模子如Bert皆有最长的文本输入截至）。需闪耀分块的尺寸，若分块太小，天然查询更精确，但所需的调回时辰更长；若分块太大，配资网则会影响查询精确度。
第二步：镶嵌模子
将分块后的文本改革为向量方式，就能通过纰漏的诡计向量之间的各异性，来识别语义上邻近的句子。
第三步：存入向量数据库
将镶嵌模子生成的向量数据存储至向量数据库。其上风主淌若能左证数据向量的相通度，快速定位、检索数据，杀青许多传统数据库无法杀青的功能，如在电影中搜索纵欲的片断。
第四步：用户查询、检索
用户输入的问题会被输入到镶嵌模子中，进行向量化处理，然后系统会从向量数据库中搜索与问题向量语义上邻近的学问内本旨历史对话纪录并复返，这即是检索增强。
第五步：交融、生成申报
将上一步检索到的有关内容与用户的发问相交融，构建出一个Prompt（领导词），将其输入到大模子（LLM）中，由大模子（LLM）生成最终的着力并复返。
四、RAG应用场景
1.问答系统
RAG左证检索到的有关信息生成准确谜底，匡助东谈主员更快取得所需信息。如搭建企业里面学问库，新职工培训手册查询、公司规矩轨制查询等。
2.智能客服系统
RAG不错荟萃家具费力学问库、聊天纪录、用户响应等数据，自动为用户提供更精确的申报。
3.个性化系统保举
RAG不错检索用户的购买纪录、浏览行径、个东谈主偏好等数据，生成个性化的家具和职业保举，提高用户欢畅度和改革率。
4.智能数据分析
RAG不错荟萃外部数据源，如数据库、API、文献等，为用户提供更通俗的数据分析职业。传统企业的数据分析主要靠数据分析师，每天需写无数的SQL语句进行查询，而在RAG撑持下，企业职工能以天然对话的神气快速取得数据。如门店店长径直用语音对话，“请帮我找出上周销量排行前10，但本周销量下滑最快的品类”，系统即可径直给出着力。
5.自动化文档处理
应用RAG自动化文档处理经过，如自动生成公约、撰写周报、转头会议纪要等，大致时辰与东谈主力老本。
五、一些拓展
1. RAG和学问图谱的荟萃
以晋升数据质地为前提时：可诞生学问图谱，来处置。镶嵌模子天然纰漏，但无法有用捕捉实体之间的复杂探究和档次结构，是以导致传统RAG在濒临复杂问题时，突出劳作。如用户发问“《跳跃范围》这本书的主旨是什么”传统RAG技能详情是申报不出来的，但学问图谱不错作念到，因为应用学问图谱对数据集诞生索引时，会索要实体与实体之间的探究，这么就构建一种全局性的上风，从而晋升RAG的精确度。
但学问图谱天然稠密，可惜老本太高，会大幅晋升Token的滥用。
2. RAG与AI Agent
AI Agent自身和Rag是相得益彰的探究。Rag系统为AI Agent提供耐久缅想才气，而AI Agent的贪图与反念念也会为Rag系统提供异常好的贪图料理和路由才气。
