LLM 集成 · RAG
在您的数据上作答的 LLM
RAG、文档检索，以及带来源的回答。 我们把 LLM 接入您的知识：模型依据您的数据作答并给出来源——而不是凭空编造。
RAG、function calling、评测流水线，以及上线到生产环境的 LLM 功能。
02应用场景
把基于数据的回答带进产品
同一套 RAG，应对不同任务。 变的是数据源与界面，不变的是准确性与来源链接。
用自然语言提问，从您的文件、wiki 与数据库中得到答案，并附上来源。
助手依据您的知识库回答客户与坐席，而不是套用泛泛的话术。
界面里的副驾：基于用户数据给出提示、草稿与解释。
面向团队的内部检索：新人上手、规章制度、项目问题，几秒即可得到答案。
03LLM 技术栈
回答的质量，取决于整条流水线
嵌入、检索、重排与评估比选哪个模型更重要：正是它们让回答准确，并附上来源。
/01
查询
问题 · 意图
/02
嵌入
查询向量
/03
检索
向量数据库
/04
重排
相关性
/05
上下文
您的文档
/06
LLM
回答 · 来源
/07
评估
准确性 · 来源
04数据源
围绕产品的数据
中心是产品，周围是数据源。 我们接入您已有的东西：文件、wiki、CRM 与数据库。数据仍留在您那里，回答始终基于最新版本。
文件 · 合同 · PDF
文档
wiki · 规章制度
知识库
客户 · 往来沟通
CRM · 工单
产品数据
数据库 · API
05方案选择
RAG 是最佳平衡点
RAG
我们的选择
混合方案
我们的选择
缓存 + 路由
更省钱
Fine-tuning
成本高
长上下文
规模化后昂贵
无数据的 prompt
容易幻觉
06开启项目
07FAQ
关于 LLM 集成，大家常问的问题
RAG 是指模型在回答之前先在您的文档里检索所需内容，并据此作答，而不是凭记忆。这样回答就建立在您的数据之上，附带来源链接，而且只要文档更新，回答也随之更新。