重要字: [symposium， Agenic， Ai 基础平台， 学问库增强， 器用使用才调， 智能体想象， 业务赋能诓骗]

本笔墨数: 2000， 阅读完需: 10 分钟

在本次演讲中，演讲者先容了Weee!如安在亚马逊云科技行家的复古下，构建了一个AI基础平台，并将其诓骗于智能客服系统。该平台交融了多种AI时期，如大模子、学问库、向量检索等，或然贯穿行业私有词汇，并通过器用调用收场订单查询、退款等功能。他们礼聘了多个AI智能体合作的方式，并引入了安全机制、性能跟踪等机制。最终，他们在两个月内就完成了该智能客服系统的开发和上线试驱动，晋升了反映速率、经过行为化和客户体验。演讲者还共享了AI评估的推论，如引入另一个AI模子评判完了质地，聚首一样度和业务章程评分等方法。

以下是小编为您整理的本次演讲的精华，共1700字，阅读时分大致是8分钟。

民众下昼好，特殊行运有这个契机来到这里，跟民众共享最近完成的一个明智客服技俩。在亚马逊云科技行家的复古下，咱们用两个月的时分快速完成了这个技俩，现时很欢悦与民众共享。

最初，我通俗先容一下咱们公司Weee!。Weee!诞生于2015年，是好意思国特殊的亚裔和西方东谈主的电商平台，总部位于旧金山湾区。咱们奋勉于为北好意思的家庭提供簇新实惠的全球好意思食。咱们很像国内的盒马生鲜平台，但不同之处在于咱们莫得线下店面，惟有线下仓储和物流团队，是一个纯网罗平台。

我旧年在好意思国吉祥夜的一个经验讲明了咱们平台的蹙迫性。那时咱们想买点东西吃，但发现总共超市险些齐关门了。好防止易找到一家超市，里面却惟有印度食物，莫得咱们中国东谈主风尚的肉蛋奶、米面油盐酱醋茶等。这让我强硬到，Weee!开荒了一个交融多种少数族裔文化的平台，让各族裔在一个平台上买到我方心爱的食物。

今天我将分三个部分跟民众商量: 1. 在亚马逊云科技行家复古下，咱们构建了我方的AI基础平台。 2. 这个基础平台与咱们的明智客服诓骗。 3. 对于AI Agent评估的推论。

在此之前，我再次感谢亚马逊云科技行家团队对通盘技俩的孝敬，咱们进行了多轮深切商量。

咱们先追溯一下诓骗架构的发展历程。从单体架构到CS架构、BS架构，再到微管事架构，每个阶段齐提供了新的理念和时期。但最近出现了AI大模子和Agent时期，咱们需要重新念念考架构的发展标的。

经过深切念念考，咱们得出了一个新的架构图。在右边是一个叫Agenic的AI平台，它依赖于提醒词工程、器用调用、责任流编排、学问库增强，再加上保护用户隐秘、数据和交易神秘的安全护栏。通过基础模子的迭代升级，它不断提供学问才调。它有点像是咱们招募的一个多材多艺的大学生，咱们赋予它学问让它成长，它又能调用AI模子和API为咱们解答多样问题。这是一个很兴味的发展标的。

这张图是Snowflake的文达竭诚共享的Idynic意见。文达竭诚指出，如若仅仅AI模子加上提醒词工程构建诓骗，它很难简直为业务赋能。咱们在测试中也发现，Claude 3.5加提醒词无法知足需求，ChatGPT 3.5加提醒词工程只可治理40%问题，升级到4.0后能治理60%问题。但引入Idynic Workflow这么的AI智能体后，仅基于ChatGPT 3.5就能治理70%问题。

这是OpenAI科学家Lilian对Agent的界说。一个AI智能体需要具备四种才调:筹备(Planning)才调可依赖提醒词工程收场，包括反馈反射、自我反念念、念念维链等;系念才调包括短期和始终系念;使用器用的才调，包括外部器用和里面器用;以及与其他Agent交互合作的才调。

基于以上念念考，咱们画图了我方的AI基础平台架构图。从下往上看，最低层是亚马逊云科技提供的基础时期，咱们在此基础上打造了我方的AI学问库、私有词汇库、基于OpenSearch的向量数据库。中间一层是两个模子ByteRock和CGMaker，前者托管了Claude 3模子，后者托管了BG Embedding模子，用于学问调回重排序。表层是八种才调:责任流编排、绘画顾问、Prompt顾问、版块顾问、学问库、私有词汇、器用使用、鉴权。再往右是安全护栏、性能跟踪和质地评测。最表层是灵通给Agent想象东谈主员和调用方的API才调。

咱们还基于这个平台与业务系统集成。中间的三条黄线暗示总共后端管事与AI平台的交互齐通过API，反映款式是流式的。底下的Function Calling暗示AI平台可调用业务侧提供的器用接口。咱们的AI平台包含了大模子和传统AI小模子，两者聚首不错兼顾本钱和服从。

这是一个部署架构图，左侧是AI平台的四大块与业务系统交互，主要通过API交互。右侧使用了亚马逊云科技的PostgreSQL、ElasticSearch、S3对象存储、ByteRock等时期。

咱们再聊一下RAG(Retrieval Augmented Generation)时期。AI模子就像东谈主的大脑皮层，衰退对现存学问的融会，需要学问增强。RAG时期等于用检索增强来补充AI对企业和现存学问的缺失。咱们会先用OpenSearch的向量数据库作念多路学问调回，包括重要词检索和向量检索，赐与不同权重。然后通过重排序，再将增强的学问输入给大模子，最毕生成完了复返给客户。咱们的向量检索速率不错法例在1秒内，通盘First Token反映在500毫秒内。

接下来讲一下咱们想象Prompt的原则。咱们礼聘了Cost Star原则，使用监控号算作分隔符，因为不同模子在考核时使用的语料不同，监控号更安妥ClaudeAI的调性。咱们的Prompt包含扮装讲明、用户输入、提醒模子进行链式念念考和自我反念念、守望输出款式讲明等模块，并为业务部门预留了定制章程的进口。

咱们但愿通过引入AI模子，晋升智能客服的反映速率、经过行为化进度和客户体验。在亚马逊云科技行家的复古下，咱们仅用两个月时分就完成了平台搭建、优化框架制定、学问库链路想象、Agent测试和性能跟踪框架、引入安全护栏、基于ByteRock多模子开发等责任。畸形念念的是，Agent的想象统统由咱们的家具司理一个东谈主作念出来的，包括Agent拆分、才调想象、Prompt编写等。

这里有一个智能客服的示例。当客户磋议”我的订单什么时候投递?时分还是推迟一个半小时了”时，系统会先进行意图识别、数据读取和学问库查询，然后Agent给出回报:“特殊对不起给你带来未便，你的订单由于*****原因，你需要登录咱们的App，点击已发货订单检察物流情状。咱们已将你的问题反馈给关系物流部门，他们会深爱并改善配送后果。”

这是AI时期平台与客服系统集成的架构块。咱们的智能体实质上是多个合作的小Agent，这么更容易法例和调试。咱们诡计分三个阶段鼓舞，现时处于第一阶段，客服需要阐述AI Agent的回报，后续会让Agent获胜回报客户邮件和工单，最终收场即时相通。

麻豆 孤注一掷

终末商量一下AI评估的方式。与传统的基于断言的测试不同，AI生成的回报很难用预期完了进行评判。咱们不错在一些特定场景下，比如意图识别、状貌判断等，借助查准率、查全率等宗旨进行评估。但对于更详尽的场景，咱们引入了两个宗旨:一样度和SOP质地。

一样度宗旨是将客服的历史满分回报算作基准，用AI回报团结问题，看两者的一样度。SOP质地宗旨是将业务章程详尽成章程列表，通过打分的方式评判AI是否受命了这些章程。咱们还汇注首实质的客户反馈，不断优化模子。

以上是我今天的共享，再次感谢民众!

总结: 本文共享了亚马逊云科技公司如安在亚马逊云科技行家的复古下，仅用两个月时分就构建了一个AI基础平台，并将其诓骗于智能客服规模，晋升了反映速率、经过行为化和客户体验。全文邃密先容了AI基础平台的架构想象、重要时期(如RAG、Prompt想象原则)、与业务系统的集成，以及AI评估的推论方法。这个案例很好地展示了AI在企业级诓骗中的推论，有很高的学习和模仿价值。

亚马逊云科技的AI出海GenAI生成式AI技俩总结:

为知足多元文化需求，Weee!电商平台开荒了一个交融多种少数族裔文化的平台，让各族裔在团结平台买到心爱的食物。在亚马逊云科技行家复古下，Weee!仅用两个月时分就构建了一个AI基础平台，并将其诓骗于明智客服技俩，显贵晋升了反映速率、经过行为化和客户体验。

该AI平台包括学问库、私有词汇库、向量数据库等，并交融了大模子(如Claude 3)和小模子的上风。它礼聘RAG(Retrieval-Augmented Generation)时期增强AI对企业学问的贯穿，收场了高效的多路学问调回和重排序。通过Prompt工程、器用调用、责任流编排等，赋予AI智能体多种才调，如筹备、系念、器用使用和多Agent合作。同期，引入安全措施保护隐秘和交易神秘。

在评估方面，除了传统的断言测试外，还引入了一样度和质地两个宗旨，通过与历史优秀回报的对比和业务章程的打分，抓续优化AI模子。该技俩展现了亚马逊云科技在GenAI规模的推论才调，为企业AI赋能提供了成心探索。

亚马逊云科技（Amazon Web Services）是全球云计算的创始者和引颈者。提供200多类粗莽而深切的云管事，管事全球245个国度和地区的数百万客户。亚马逊云科技奋勉于成为企业构建和诓骗生成式AI的首选，通过生成式AI时期栈，提供用于模子考核和推理的基础门径管事、构建生成式AI诓骗的大模子等器用、以及开箱即用的生成式AI诓骗。深耕土产货、联贯全球 – 在中国，亚马逊云科技通过安全、判辨、实在赖的云管事ai换脸，助力中国企业加快数字化转型和翻新，并深度参与全球化阛阓。

AgentWeee模子亚马逊云Prompt发布于：韩国声明：该文不雅点仅代表作家本东谈主，搜狐号系信息发布平台，搜狐仅提供信息存储空间管事。