ARTICLE 09 · AI AGENT · 2026-10-21

AI 应用如何运作:用真实应用讲清 LLM、RAG 与 AI 智能体

LLM、RAG 和 AI 智能体这几个词,放进一个真正在运行的应用里看,就容易懂得多。我们打开自己网站上的聊天助手,跟着一个问题一站一站地走,看每个词在哪里出现、每一站可能怎样出错。

AI 应用如何运作:用真实应用讲清 LLM、RAG 与 AI 智能体
要点速览
  • LLM 根据学到的语言规律写出回答,但不了解贵公司的数据。
  • 检索增强生成(RAG)先检索公司文档,只把相关部分交给模型,所以回答的质量取决于文档的质量。
  • 模型选择调用哪个工具、由系统代码去执行时,应用就成了 AI 智能体(AI Agent)。
  • 泰语和泰国《个人数据保护法》(PDPA)既影响检索方式,也决定模型可以在哪里运行。

第 1 站:您发出的消息,和您看不到的指令

打开 dnamaker.com 的聊天页面,在左侧列表里选择“企业知识找不到”。发给我们的 AI 助手 Dream 的消息,最后一句是“想要能根据公司自有文档回答问题的 AI。”我们就跟着这条消息,一直走到回答回到您的屏幕上。

这条消息会连同最近的对话记录和系统提示词一起发出。系统提示词是团队写好的指令,用户看不到。Dream 的提示词规定了 Dream 是谁,对话从理解需求到提交方案分四个阶段,以及不得编造客户名称或数字。

消息到达模型之前,先要过一道关口。系统限制同一网络可以发送的消息数量,为每天的模型用量设上限;凡是试图套取系统指令的消息,系统直接回复拒绝,不经过模型。

这一站常见的问题有两个。一是系统提示词写得太宽,AI 会答应公司并不提供的服务。二是应用没有关口,结果同时遇到费用失控和提示词注入,也就是诱导系统丢掉原有指令的文字。

第 2 站:LLM 写出回答

LLM 即大语言模型,是从海量文字中学习语言规律的程序。它一小块一小块地写出回答,每次都挑选最可能接在后面的那一块。您每天使用的聊天助手,大多数内部都有一个 LLM。

LLM 擅长语言类工作,比如总结、翻译和追问。但它没有贵公司的数据,不知道训练结束之后发生的事,也不知道自己不知道什么。错误的回答听起来和正确的回答一样笃定,这种现象叫作幻觉(Hallucination)。

在 Dream 中,由一个大语言模型撰写回复。如果您附上图片,另一个模型会先把图片内容描述成文字。模型还会写一行隐藏的状态信息,系统把它截下来,用来填充页面上方的四阶段进度条和“项目概要”面板。

这一站常见的问题是让模型凭记忆回答。模型会猜数字、日期和名称。所以 Dream 从不让模型自己写价格。

第 3 站:RAG 先查资料再回答

RAG 是 Retrieval-Augmented Generation 的缩写,做法是先检索相关信息,再把它和问题一起交给模型。模型根据眼前的资料作答,就像开卷考试。

Dream 的知识是团队自己编写的一小套内容。公司信息写在系统提示词里;如果您是从某个解决方案页面进入的,系统还会附上该页面的内容。语音版 Dream 拿到的是整个网站的地图,由生成页面的同一批文件构建而成。

公司文档太多,不可能每个问题都全部附上,所以面向文档的 RAG 分三步。准备:把文档切成短段落,再把每段转换成代表其含义的一组数字,叫作向量嵌入(Embedding),存进向量数据库。检索:用同样的方法把问题转成数字,找出含义最接近的段落,这样问“产假”的人也能找到标题为“生育休假”的条款。回答:把找到的段落交给模型,要求它依据这些资料作答并注明出处。这样运作的聊天机器人,就是 RAG 聊天机器人。

我们网站上的搜索框按字词匹配,对名称和编号很准;用句子提出的问题,按含义检索效果更好。企业系统通常把两者结合起来,称为混合检索。

这一站常见的问题是检索到错误的文档,比如资料库里仍留着的旧版本,或者从表格中间切开、表头丢失的段落。这样回答也会跟着出错。

第 4 站:回答,以及送到您面前之前的检查

回答显示在屏幕上之前,设计得好的系统还有一道检查,叫作护栏。Dream 的护栏会删除看起来像密钥的字符串;如果回复里出现系统指令的痕迹,系统会丢弃这条回复,换上预先准备好的回复。聊天页面也写明了:Dream 是 AI,可能会出错。

让 AI 说“不知道”,需要事先设计。好的 RAG 会要求模型在检索不到内容时回答“文档中没有”,并且每次都附上出处。Dream 在需求不够清楚时会追问,并把自己的假设写出来,不会默默猜测。

这一站常见的问题有两种:护栏太严,连普通问题也拒绝;护栏太松,放过编造的回答,或者提问者无权查看的数据。

对 AI 的每个回答都问三个问题

  1. 从哪来? 依据的是哪份文档、哪一节?说不出来,就把这个回答当作模型的个人看法。
  2. 有多新? 这份文档最后一次修改是什么时候,现在还在使用吗?
  3. 谁把关? 内容由谁负责,使用前是否需要有人审批?

第 5 站:能调用工具时,应用就成了 AI 智能体

模型自己决定调用哪个工具、由系统代码去执行时,应用就成了 AI 智能体。这种机制叫作工具调用(Tool Calling)。AI 智能体与智能体式 AI(Agentic AI)有何区别,见第 5 章。

Dream 里有三处这样的步骤。估价时,模型挑选模块并留下一个标记,代码根据团队维护的价格表算出区间,再填到标记的位置。回复末尾的按钮,模型只能选择页面标识,链接地址和页面标题都来自我们自己的内容,所以回复不可能把您带到网站以外。语音版 Dream 可以调用工具,在您的浏览器里打开页面,或滚动到某个章节。

Dream 的工具只做计算或带您去某个页面,风险较低。要登记请假申请、修改 ERP 数据的智能体,就需要在执行前设置人工审批环节。

这一站常见的问题:用错误的参数调用工具、重复调用,或者听从了文档里暗藏的指令。

仅 LLMLLM + RAGAI 智能体
知道什么截至训练日期的通用知识再加上贵公司的文档再加上业务系统的实时数据
能做什么起草、总结、翻译依据文档回答并注明出处计算、查询系统、生成文件
怎么出错编造事实检索到旧版本,越过提问者的权限作答调错工具,听从暗藏的指令
需要什么使用前有人核对有负责人的文档、查看权限收紧的权限、审批环节、每次调用的记录

第 6 站:泰语与您的数据

泰语的词与词之间不加空格;而且许多模型切分泰语时,会比同样意思的英语切出更多的片段,也就是 token,所以用泰语调用模型往往更贵。实际工作中还常常两种语言混用,比如“ขอ OT วันเสาร์”(申请周六加班)或“PO เลขนี้ส่งของยัง”(这张采购单发货了吗),按含义检索常常漏掉这类句子。

Dream 根据您输入的文字决定用哪种语言回复。一直用泰语聊天,后来只输入“Excel”,Dream 仍然用泰语回答。语音方面,团队把语言固定为用户的语言,因为让系统自己猜的时候,系统曾把简短的泰语回答转写成日语或葡萄牙语。

我们的聊天页面写明会保存咨询内容,而 Dream 使用的模型是云端服务,适合处理本来就公开在网站上的内容。人事文档或客户数据则需要另作考虑。按照 PDPA,您需要说清楚个人数据在哪个环节离开公司。如果数据不能离开公司,可以选择在您自己的服务器上运行的私有化部署的大模型(Private LLM)。详见数据不能离开公司的企业,有哪些私有化 AI 方案。

这一站常见的问题:系统只用英语测试过;个人数据在没人留意的情况下随问题一起流出公司。

春武里的一家汽车零部件工厂(名称和细节均为虚构)通过 LINE 官方账号推出了一个 AI 助手,检索共享网盘里的文档来回答人事问题。LINE 官方账号是许多泰国企业联系客户和员工的渠道。一名员工问:“今年没休完的年假,可以顺延到明年吗?”这个助手可能在两个地方出错。

第一,网盘里有两个版本的休假制度,检索找到的是写着“可以顺延”的旧版。人事部只好一个个去纠正。解决办法:每套文档都有负责人,新版公布当天把旧版移出资料库,每个回答都显示文档名称和最后修改日期。

第二,团队为了赶进度,把整个网盘都导入进来,连管理层的薪资表也在里面。一位生产线组长问起调薪标准,助手引用了他无权打开的文件里的数字。解决办法:在交给模型之前,先按提问者的权限筛选文档。这类项目的例子见 HR 与 IT 服务台智能体页面。

搭建 RAG 助手之前要准备什么

下面六件事,公司在和任何开发商沟通之前就可以自己准备。

  • 文档放在哪里,哪个版本是实际在用的
  • 每套文档的负责人,由他确认内容无误
  • 更新周期,以及旧版本如何移出资料库
  • 查看权限:谁能打开哪份文档
  • 员工常问的真实问题,以及文档负责人认可的答案
  • 文档中的个人数据,以及按 PDPA 能否离开公司
写给开发团队 · 分块、泰语向量嵌入、混合检索与测试

分块:按标题和表格切分,不按字符数切,因为泰语词间没有空格。把文档名称、修改日期和权限作为元数据附上。泰语向量嵌入:用公司的真实文本测试多语言模型,包括泰英混写和产品编号。混合检索:把基于泰语分词索引的 BM25 与向量检索结合,再做重排序(Reranking);按权限和日期过滤放在检索阶段完成。测试:上线前用公司实际工作中的真实例子测试系统,并与文档负责人约定怎样才算通过;每次更换模型、提示词或切分方式时重新测试;分别衡量检索是否准确、回答是否忠于文档。也要检查检索到的文档里是否夹带提示词注入。

DNA MAKER · AI AGENT

我们如何为泰国企业构建 RAG 助手和 AI 智能体

DNA Maker 先看文档,再选模型。我们和贵公司团队一起梳理:大家最常问的问题由哪些文档来回答,文档由谁负责,谁能看到什么;哪些部分还没准备好,我们会直接说明。上线之前,我们用贵公司的真实文档和真实问题测试;开发期间,每周给您看演示。

在 AI 修改系统数据的每一个步骤之前,我们都设置审批环节。数据不能离开公司时,我们把私有大模型部署在贵公司的服务器上,并将访问权限与 Active Directory 打通。与您合作的是 DNA Maker 自己的团队,不转包。范围和价格在开工前确定。我们已完成 500 多个项目,客户包括银行、医院和泰国大型企业集团。详见 AI 智能体与聊天机器人和私有化大模型页面,或者把您的项目讲给 Dream 听。

软件工程术语表

术语是什么通俗示例高管应问开发团队的问题
LLM一块一块写出回答的大语言模型Dream 用 LLM 撰写聊天页面上的回复这个回答来自我们的文档,还是模型的记忆?
RAG先检索相关信息,再连同问题交给模型人事助手先查休假制度再回答检索不到内容时,系统怎么回答?
向量嵌入把文字转换成代表含义的一组数字问“产假”能找到“生育休假”条款用泰英混写的文本测试过吗?
工具调用模型选择工具,由代码执行Dream 留下标记,代码填入价格区间哪些工具可以修改数据?
私有大模型运行在公司自己掌控的服务器上的语言模型运行在公司自有服务器上的人事助手个人数据会在哪些环节离开公司?
明天就可以试试: 挑一个员工最常问人事或 IT 的问题,找到能回答它的文档,写下三行:谁负责,最后什么时候修改,谁能打开。三行写不全,您的第一件事就是先把这套文档整理好。