风君子博客7月17日消息，刚刚结束的亚马逊云科技纽约峰会，生成式AI仍然是重点。在会上，亚马逊云科技围绕其生成式AI三层架构中的中间层Amazon Bedrock和应用层Amazon Q生成式AI助手推出了多项新功能和新服务。
亚马逊云科技生成式AI三层架构
以Transformer架构为基础的大模型“天生”就存在一些弱点，比如幻觉现象、专业知识不够、缺乏长期记忆力等等。以大模型为基础打造的生成式AI应用自然天生也会“遗传上”这些问题。
Amazon Bedrock提供了利用LLM和其他基础模型轻松快速地构建、部署和扩展生成性AI应用程序的工具。
这次大会上，亚马逊云科技针对中间层Amazon Bedrock的功能和服务上新，重点解决基础大模型专业知识不够、幻觉、缺乏长期记忆等问题。
1、解决数据不够“专”和“广”的问题
目前，行业内通常会使用外挂数据库检索增强生成（RAG）来帮助基础模型提供更相关、准确和定制的响应。
Amazon Bedrock的知识库功能备受关注，它可以让模型读懂用户专属的内容以扩充模型的知识面，从而提升生成结果的关联性和准确性。
Amazon Bedrock这次更新扩大了数据连据器范围，除了Amazon S3之外，用户现在还可以将第三方Web域数据源、Confluence、Salesforce和SharePoint作为数据源接入到Amazon Bedrock当中。
比如，很多用户在Web域中存储日常使用的数据，这项更新使得这些用户能够更方便地将生成式AI带入到其日常应用场景当中。
2、解决一本正经的胡说八道的幻觉问题
生成式AI应用生成的结果有时会出现幻觉现象，为了解决这个为题，这次Amazon Bedrock在其Guardrails（护栏）中推出了基于上下文基础检查、情境基础检查的幻觉检测功能。
事实上，Amazon Bedrock的Guardrails首次在re:Invent 2023预览版中发布，支持内容过滤和拒绝主题等政策。在2024年4月正式发布时，Guardrails支持四种保护措施：拒绝主题、内容过滤器、敏感信息过滤器和文字过滤器。
这一次，Amazon Bedrock宣布推出另外两项功能：
一是，基于上下文基础检查的幻觉检测功能，
二是，Amazon Bedrock的Guardrails支持新的ApplyGuardrail API，Apply Guardrail API可评估所有基础模型（包括Amazon Bedrock上的大模型、自定义和第三方大模型）的输入提示和模型响应，从而实现对所有生成人工智能应用程序的集中管理。
基于上下文基础检查的幻觉检测功能是一种检测幻觉的新策略类型，是在之前推出的四种检测保护措施后的第五种保障措施。可以在不基于企业数据或与用户查询无关的模型响应中检测幻觉。这可用于提高RAG、摘要或信息提取等用例中的响应质量。
基于上下文基础检查的幻觉检测功能有两个过滤参数（Grounding和Relevance）：
设定阈值
用户现在可以在Amazon Bedrock的Guardrails中设置针对生成结果准确性的关联值，低于这一设定阈值的生成结果就会被Guardrails判定为不相关的幻觉结果并不予显示。这项功能是通过对上下文的基础性检查来提供的，以更好的避免基础模型产生的幻觉问题。
例如，用户可以使用Amazon Bedrock知识库的上下文基础检查，通过过滤不基于企业数据的不准确响应来部署值得信赖的RAG应用程序。从企业数据源检索到的结果被上下文基础检查策略用作参考源，以验证模型响应。
3、解决记不住的问题
针对生成式AI记不住的问题，Amazon Bedrock的代理（Agent）功能推出了 跨多个交互的记忆保留特性，基于该功能构建的代理（现在也被称为智能体），能够随时间推移学习并适应每个用户的独特需求和偏好，同时多个记忆之间完全分离，每个用户的对话历史和上下文都会安全地存储在唯一的记忆ID之下。这项功能将有助于提升预订航班或是处理客户反馈等复杂任务代理下的用户体验。
用户可设置1-30天的内存持续时间，超过此期间的所有会话摘要都将被删除。
例如，企业用于处理客户反馈的智能体现在可以知道与同一客户之前和正在进行的交互。每个用户的对话历史和上下文都安全地存储在唯一的内存标识符（ID）下，确保用户之间的完全分离。通过记忆保留，可以更容易地构建提供无缝、自适应和个性化体验的智能体。
此外，Amazon Bedrock还推出了代码解释支持功能，它允许Agent代理在安全的沙箱环境中动态生成和运行代码片段，从而显著提升其处理复杂任务的能力，包括数据分析、可视化、文本处理、方程求解和优化问题等，并支持多种数据类型和格式，同时在需要时由大型语言模型（LLM）决定是否调用该功能，以确保灵活性和安全性。
同时，在应用层，Amazon Q也有多项新服务。
Amazon Q Apps现已正式可用。这是Amazon Q Business中的一项功能，借助这项新功能，用户可以通过自然语言对话的方式，构建基于企业数据的生成式AI应用，并安全地将其发布到企业内部的应用程序库Amazon Q Apps Library中，并添加多个应用类型标签，从让企业内的使用者方便地进行检索，以查找其所需的Q Apps应用。
另外，此次更新中，亚马逊云科技将 Amazon Q Developer扩展到Amazon SageMaker Studio中，以简化并加速机器学习的工作流程。机器学习模型开发过程很复杂，数据科学家花费太多时间寻找合适的工具、文档或方法，这项服务将为数据科学家节省数周甚至数月的工作时间。该功能提供基于自然语言的交互，并通过推荐每个任务的最佳工具、提供分步指导、生成入门代码以及在遇到错误时提供故障排除帮助，以及为开发者量身定制针对机器学习开发生命周期的详细执行计划。值得一提的是，这项更新将在所有提供Amazon SageMaker的区域中提供。
Amazon Q Developer现在还 扩展至在用户自己的集成开发环境IDE中，并提供自定义功能，以在用户的IDE代码编辑器和聊天中提供基于开发者私有代码库生成的代码建议，这使得开发者能够更好地打造其专属的代码助手。
另外，在这次纽约峰会上，亚马逊云科技宣布了全球第二批获得生成式AI能力认证的合作伙伴，其中有11家来自中国的合作伙伴，包括伊克罗德、柯基数据、八斗智能、墨奇科技、神州数码、聚云科技、神州泰岳、灵奥科技、Zilliz、跨海科技和华讯网络。
今年3月，亚马逊云科技在全球推出业内首个生成式AI能力认证，旨在验证、认可在利用亚马逊云科技生成式AI技术方面拥有专业知识、实践经验和成功案例的合作伙伴。
截止目前，全球已有60余家合作伙伴获得了该认证。
亚马逊云科技生成式AI与机器学习市场推广全球副总裁Rahul Pathak表示，“我们非常兴奋迎来新一批获得亚马逊云科技生成式AI能力认证的合作伙伴。自该能力认证推出以来，这些合作伙伴已经在全球范围内帮助客户构建和部署了许多生成式AI工作负载，取得了显著成就和积极影响。”