澜码CEO周健：基于LLM架构的AI Agent平台现状和未来预测 在当今人工智能飞速发展的时代，AI Agent正以其独特的方式重塑着企业的生产运营方式。澜码科技作为AI Agent领域的先行者，其创始人兼CEO周健先生分享了对大模型与AI Agent发展现状的深刻见解，以及这些技术如何赋能企业数智化转型的前瞻性思考。以下是对这次分享的详细实录，它不仅涵盖了AI Agent在不同行业落地的实践案例，还探讨了企业未来数智化发展的趋势和方向。
大模型与AI Agent发展现状
去年年初，陆奇博士提到，大模型的发展带来了人机交互革命。他认为会出现三代系统，过去的数字化系统是感知系统或记录系统，负责把流程、物理世界的信息记录下来。大模型则是知识系统，把大量的数据通过压缩变成模型。我们还需要行动系统，它就像神经中枢，负责把大脑的输出拆解成物理世界及数字世界中的行动。从该视角出发，AI Agent、IT 数字化系统、大模型都有其定位，需要三者结合在一起才能形成未来的AGI。
从GPT3.5开始的过去一年半内，我们发现，AI Agent的成熟度依赖于大模型的能力，包括开源和闭源模型，以及多模态模型等。
现在的开源模型有几档，例如7B、13B、72B或者是千亿级模型，它们有不同的能力，也在不同场景中使用。我们相信未来会有更多尺度的模型，既会出现以GPT-5为代表的更大模型，在端侧也会出现更小的模型。
此外，也有其他两类模型，一类是多模态大模型，另一类是 GPT-4o那样的实时模型。现在的多模态大模型更多的是处理物理世界的图片、视频、音频，面对更加复杂的多模态内容，如 CAD 图纸、 UML 图纸等，目前仍然不能被用上。随着时间的推移，未来不断会有更多的开源模型变得成熟，并应用在 AI Agent的落地过程中。
从自动化视角出发，在企业内部业务流程中，特别是一线的员工，在执行某业务任务、活动时，主要在处理数据、文档、应用与流程。过去 RPA、低代码、BI，并不能够理解流程中的数据、文档、应用，只能做到简单的自动化任务处理。
如今，随着大模型的发展，尤其是相对成熟的纯文本大模型，提供了十分便宜的语言理解能力。当模型具备了理解能力之后，它们在信息抽取、指令遵循等任务执行能力得到提升，使得基于大语言模型的AI Agent的水平也远超传统的自动化系统，成为企业的“数字员工”。
专家知识是大语言模型落地的关键
澜码作为“模型中立”厂商，在过去18个月中，我们构建了企业级AI Agent平台，拥有内部评测工具，能够在特定场景下针对不断更新的开源模型进行实时评价，为企业客户在选择合适的应用场景和模型时提供有价值的决策建议。
另外，我们也强调企业内部知识的沉淀，我们的平台上有一个知识中心，可以把企业内各种 SOP、业务流程、规则、事实以及相应的领域知识沉淀下来。
AI Agent 公司本质上还是 AI 公司。我们认为，AI公司与传统软件公司最大的区别在于AI公司更加重视数据集。大模型虽然具有通用的语言理解能力，但在特定场景下仍然无法做到百分百准确。类似于不同教育背景的毕业生，无论是高中生、大专生还是大学本科生，参加工作都需要接受特定的入职培训，以获得财务、公司经营等特定方面的知识和技能。因此，需要AI Agent基于企业内的业务流程、数据构建专家知识库，从而赋能大模型能够解决复杂场景问题。
我们认为在企业级应用场景下，专家知识对大语言模型落地至关重要，大模型是底座，专家知识是天花板。
知识可以分为两类，一类是左边冰山上方可用自然语言描述的显性知识，包括过程性、规则性和事实性知识；另外一类是冰山下是隐性知识。专家可以凭借丰富的实践、经验，能够迅速适应并为不同行业和企业提供专业的指导。
AI Agent 则通过辅助员工实现自动化操作，并将收集到的实践性的经验数据、专家知识和企业内部的事务性数据结合在一起，进行数字化沉淀。
以招聘场景为例，现在有不少平台或者应用可以给校招生写简历，但对比行业内猎头为某特定岗位写出的简历，后者所能提供的业务价值比前者大 10 倍甚至 100 倍以上。因此，基于大语言模型的AI Agent，在拥有同样的数据、算力情况下，会因为专家知识的不同，发挥出不同的业务价值。
在实践落地过程中，面对一些复杂业务场景问题，澜码形成了一套综合、高效的系统化RAG（Retrieval-Augmented Generation）方案。
如上图左边的序列图所示，澜码的 RAG 与传统 RAG 的区别主要在于，面对用户的问题，传统 RAG 基本是直接把问题用Embedding 技术转换为向量数据，而澜码会使用大模型及Feature的方式对用户问题进行强拆解。举个例子，“北京银行跟招商银行成立日期哪个早？”该问句需要被拆解成三个问题，1、北京银行什么时候成立？2、招商银行什么时候成立？3、哪个日期更早？前两者可以通过检索文档回答，第三个问题需通过函数、代码解决。
另外一点区别是对文档的处理。文档发布通常承载着特定目的，同时包含很多的细节信息。例如，在公安部门需要合并民众办事指南的项目中，专家知识指哪些事项由哪些机构负责，国家、省、地方法案具体是如何规定等。其中，由于存在新旧法案更替的情况，新法案的颁布，若是与旧法案发生冲突，该如何解决？这些都是很深的专家知识，专家能够从底层的政策文档中抽取关键信息，AI Agent通过强化拆解与精细化的文档处理，能够大幅提升企业内部问答的准确率，确保信息的精确传递和高效应用。
AI Agent在不同行业的落地实践
下面来看几个澜码在不同企业中的AI Agent实践案例。
在这个场景中，企业内的专家会根据用户体检报告整理出产品推荐的专家知识，如描述具体病兆适合推荐哪些产品，有哪些合适话术等。
我们的Demo展示了如何将大健康体检报告转化为有用的信息，并结合专家的指导来处理这些报告，即用户上传一份体检报告，通过大模型 和Prompt 抽取信息，从保险产品手册中智能检索，提取与体检结果相关的保险条款，根据体检报告的关键信息和保险条款，推荐适合用户的保险产品，并生成对应的产品推荐报告。
在金融领域的实施方法论中，收集专家知识环节十分重要，包括样例数据，而样例数据更加强调用户问题。我们需要收集用户问题，并对问题进行拆解、处理和测试，使得AI Agent在实际场景中面对用户的问题提供更加有效、精准的回答。
以上是第一步，在收集到信息后，我们可以开始进行模型评估。初期我们会使用GPT-4进行试点，将用户的问题输入给GPT-4，使其扩写各种各样的变化问题，确保我们选择的模型在生成的数据集上展现出高准确率。同时，我们还需评估实际使用的每秒查询（QPS）对算力的需求，确保系统稳定运行。上线后，我们预计会进行一轮额外的调试，因为客户在实际使用生产系统时可能会遇到之前未预见的问题，这需要我们进一步的优化和回答。
该国有银行需要落地总行与分行的外汇平盘，我们梳理了交易过程中需要调用的 API，以确保有效获取数据；并根据专家知识整理出选型模型，进行工作流的搭建及优化。整个投产过程大概一个月，就能够做到上线即满足实际业务人员的需求。
企业未来数智化发展趋势
大模型的出现，为企业的IT基础设施带来了新的变革。过去所有 IT 基础绝大部分都在 CPU 之上，如今大模型在私有化部署过程中，对算力有了更高的要求，基本上都需要GPU。
在如今新的生态中，算力和AI基础设施，包括推理加速和模型管理服务等位于底层；在其之上是模型层，过去 18 个月不断有新模型推出，所以底层需要仿真工序，需要有工程技术，能够在不同情况下路由选择不同的模型，这样也能够节省算力的调度。澜码科技的AI Agent平台则处于中间层，需要具备针对特定场景匹配合适的大模型、调度不同工具的能力，如RAG、ABI、多Agent协作等，以达到连接人和系统的目标。
AI Agent作为中间层，它的工程框架至关重要，需要具备足够的灵活性和扩展性，以适应不同行业和场景的需求。尽管Agent产品可能类似于低代码平台，允许用户通过工作流、拖拉拽和上下游连线来实现功能，但低代码平台的真正竞争力在于其在多样化行业和场景中积累的能力。
当前，Agent已经集成了记忆功能、RAG（Retrieval-Augmented Generation）技术、数据分析指标库等先进功能，但如果没有多模态交互，比如文本生成图像（文生图）或视频，产品的功能在一定程度上就会受到限制。虽然这些功能可以简单集成，但卡片的丰富程度、参数的复杂性以及用户交互的便捷性，都会影响到文生图等多模态应用的准确率和用户体验。
从模型的智能化水平与成本效益角度来看，目前大模型的能力还处于“高中生”水平，预计明年年底，可能会出现“博士生”水平的模型。在目前的就业市场中，刚毕业的高中生与博士生的薪资差距大约是两倍，但大模型落地所产生的算力差距是十倍、百倍、甚至是千倍。
所以，基于上述图片，我们认为存在这样一条线，线之下的模型规模较小，通常用于生产与推理任务，线之上的模型规模大概在千亿级别左右，基本上用作场景验证。但当前大模型还处于“高中生水平”，直接投入生产会带来更高的资源和成本投入，并不划算。
未来，随着大模型如“GPT-5”的发展，它如果能够跟管理者互动，帮助管理者扩大管理半径，这个规律可能就会被打破。
这时的考量单位就不再是单个模型，而是团队整体。团队结构变为一个专家加上100个数据员工再加上一个Agent，相比于10个专家与100个数据员工的配置，成本效益曲线可能会发生变化。
从这个视角上，未来Agent或许能够从原来的辅助人到实现自治，能够自主形成一个团队，这将改变其在组织中的价值和作用。
现有的企业组织通过结构、人员、技能、业务流程来运作，并利用数字系统把过程记录下来，那么 AI Agent 在这一过程中，可以与人协作，进一步优化组织结构与流程，提高业务价值，赋能企业的数智化转型。
通常情况下，一线员工从新手到高级新手的过程中需要耗费大量的时间进行案例查询，而Agent能够通过RAG、API、ABI等方式辅助员工更好地执行；而从高级新手到胜任者的下一阶段，关键在于积累实践经验和学习案例，这对Agent的场景记忆——包括历史案例、具体做法、专家点评情况等提出了更高的要求。
我们期望AI Agent能够通过仿真和推演，帮助专家级人员无需亲自实践就能获得经验，让AI Agent能够提前封装业务能力、应用能力、数据能力和分析能力，能够提供更深入的数据洞察，并基于此提供系统操作能力，这种能力将改变企业内部未来的组织结构。
澜码期待在接下来的18个月内，基于文本模型、多模态模型、实时模型等底层大模型，不断地构建一个具备知识推理、记忆、反思能力的AI Agent系统，帮助企业进行知识治理，从而提升自动化水平，加速知识迭代，革新组织运作。
目前，我们也正在按照上述思路进行一些尝试。比如，我们正在与某股份制银行联合打造智能投顾助手。我们的AI Agent平台能够提供可组装能力，把CRM、数据仓库等传统的IT能力与大模型的能力组装在一起，变成更好的投资顾问助手。
