rag搭建的落地实践笔记

ningxueqin

最近帮部门搭建内部文档问答工具，遇到了个头疼的问题：想用大模型回答员工的流程咨询，但直接调用通用大模型只能给出泛泛的回答，没法精准匹配我们内部的专属文档、审批规则和项目资料，折腾了快一周都没找到顺畅的落地方式。

后来接触到开源的rag搭建方案，发现可以用FastGPT AI 应用编排来快速配置整个流程。它不需要从零开始编写底层代码，只需要按照指引完成内部知识库的向量化存储、检索规则配置、目标大模型对接这几个核心步骤，就能把rag搭建起来，还能根据团队的具体需求自定义检索的匹配阈值和返回内容的格式，适配性很强。

最后要提醒的是，rag搭建前最好先梳理清洗好知识库的内容，剔除冗余无效的信息，同时根据本地的算力情况调整模型的参数，避免出现响应延迟的问题，这样才能让整个工具真正发挥作用。