亚马逊云科技数据和人工智能副总裁 Swami 解读 Amazon Bedrock 重大更新

本文由亚马逊云科技数据和人工智能副总裁 Swami Sivasubramanian 撰写，原文链接：

https://aws.amazon.com/cn/blogs/machine-learning/new-capabilities-make-it-easier-to-use-amazon-bedrock-to-build-and-scale-generative-ai-applications-and-deliver-impact/

亚马逊一年多前向世界推出了 Amazon Bedrock，提供了一种全新的方式来构建生成式 AI 应用程序。借助最广泛的第一方和第三方基础模型（FMs）以及用户友好的功能，Amazon Bedrock 是构建和扩展安全的生成式 AI 应用程序的最快捷和最简单的方式。

现在成千上万的客户正在使用 Amazon Bedrock 来构建和扩展令人印象深刻的应用程序。他们正在快速、轻松、安全地进行创新，以推进其 AI 战略。我们通过令人兴奋的新功能来增强 Amazon Bedrock，包括更多的模型选择和功能，使选择合适的模型、为特定用例定制模型以及保护和扩展生成式 AI 应用程序变得更加容易，从而支持他们的努力。

从金融到旅游和酒店，再到医疗保健和消费技术，各行各业的客户都在取得显著进展。通过快速将生成式 AI 应用程序投入生产以改善客户体验和提高运营效率，他们正在实现真正的商业价值。以世界上最大的资本市场纽约证券交易所（NYSE）为例，它每天处理数十亿笔交易。NYSE 正在利用 Amazon Bedrock 的 FMs 选择和尖端 AI 生成功能，应用于多个用例，包括处理数千页的法规，以易于理解的语言提供答案。

全球航空公司联合航空公司对其客户服务系统进行了现代化改造，将传统的乘客预订代码翻译成普通英语，使客服代理能够提供快速高效的客户支持。作为全球领先的信息和分析提供商，LexisNexis 法律与专业公司在 Lexis+ AI 上开发了个性化的法律生成式 AI 助手。LexisNexis 的客户获得的可信结果比最接近的竞争产品快两倍，每周可以节省多达5小时的法律研究和总结时间。在线帮助台软件 HappyFox 因其安全性和性能而选择了 Amazon Bedrock，在其客户支持解决方案中，其 AI 驱动的自动票务系统的效率提高了40%，客服人员的生产力提高了30%。

在整个亚马逊，我们也在继续创新生成式 AI，为客户提供更身临其境、更引人入胜的体验。就在上周，Amazon Music 宣布了 Maestro。Maestro 是由 Amazon Bedrock 驱动的 AI 播放列表生成器，为 Amazon Music 订阅者提供了一种更简单、更有趣的方式，根据提示创建播放列表。Maestro 现在正在向美国少数几个层级的 Amazon Music 客户推出测试版。

通过 Amazon Bedrock，我们专注于客户构建生产就绪、企业级生成式 AI 应用程序所需的关键领域，以合适的成本和速度。今天，我很高兴分享我们在模型选择、构建生成式 AI 应用程序的工具以及隐私和安全领域宣布的新功能。

◆ Amazon Bedrock 扩展了 Llama 3 模型的选择，并帮助您找到最适合您需求的模型

在这个早期阶段，客户仍在学习和尝试不同的模型，以确定将哪些模型用于各种目的。他们希望能够轻松尝试最新的模型，并测试哪些功能和特性将为他们的用例提供最佳结果和成本特征。大多数 Amazon Bedrock 客户使用不止一个模型，而 Amazon Bedrock 提供了最广泛的第一方和第三方大型语言模型（LLM）和其他 FM 的选择。这包括来自 AI21 Labs、Anthropic、Cohere、meta、Mistral AI 和 Stability AI 的模型，以及我们自己的 Amazon Titan 模型。

事实上，汤森路透的 AI 和汤森路透实验室负责人 Joel Hron 最近谈到他们采用 Amazon Bedrock 时说：“随着新模型的出现，能够使用各种不同的模型对我们来说是一个关键驱动因素，特别是考虑到这个领域正在快速发展。”Mistral AI 模型家族的尖端模型，包括 Mistral 7B、Mixtral 8x7B 和 Mistral Large，其在文本生成、摘要、问答和代码生成方面的高性能让客户兴奋不已。自从我们引入 Anthropic Claude 3 模型家族以来，成千上万的客户已经体验到 Claude 3 Haiku、Sonnet 和 Opus 如何在认知任务中树立了新的基准，具有无与伦比的智能、速度和成本效率。在使用 Amazon Bedrock 中的 Claude 3 Haiku 和 Opus 进行初步评估后，品牌智能平台 BlueOcean.ai 将四个独立的 API 调用整合为一个更高效的调用，成本降低了50%以上。

索尼集团公司 DX 平台集团联合治理总经理大场正弘分享道：“虽然将生成式 AI 应用于业务存在许多挑战，但 Amazon Bedrock 的多样化功能帮助我们为索尼的业务量身定制生成式 AI 应用。我们不仅能够利用 Claude 3 强大的 LLM 功能，还能利用帮助我们在企业级保护应用程序的功能。我真的很自豪能与 Amazon Bedrock 团队合作，进一步在索尼集团内部普及生成式 AI。”

我最近与 Bridgewater Associates（一家优秀的资产管理公司）的人工投资助理实验室首席技术官 Aaron Linsky 坐下来聊天，他们正在使用生成式 AI 来增强他们的“人工投资助理”，这是他们客户的一大飞跃。它建立在他们为投资决策提供基于规则的专家建议的经验之上。通过 Amazon Bedrock，他们可以使用不同任务的最佳 FM，如 Claude 3，将基本的市场理解与 AI 的灵活推理能力相结合。Amazon Bedrock 允许无缝的模型实验，使 Bridgewater 能够构建一个强大的、自我改进的投资系统，将系统化建议与前沿能力相结合，创造一个不断发展的、AI 优先的过程。

为了给客户带来更多的模型选择，我们在 Amazon Bedrock 中提供 meta Llama 3 模型。Llama 3 的 Llama 3 8B 和 Llama 3 70B 模型旨在构建、实验和负责任地扩展生成式 AI 应用程序。这些模型与之前的模型架构相比有了显著改进，包括扩大预训练规模以及指令微调方法。Llama 3 8B 在文本摘要、分类、情感分析和翻译方面表现出色，非常适合资源有限的边缘设备。Llama 3 70B 在内容创作、对话式 AI、语言理解、研发、企业、准确摘要、细微分类/情感分析、语言建模、对话系统、代码生成和指令遵循方面表现出色。阅读更多关于 meta Llama 3 现已在 Amazon Bedrock 中推出的信息。

我们还宣布即将支持 Cohere 的 Command R 和 Command R+ 企业 FM。这些模型具有高度可扩展性，并针对长上下文任务进行了优化，如带有引文的检索增强生成（RAG）以减少幻觉、用于自动化复杂业务任务的多步工具使用，以及支持10种语言以满足全球业务需求。Command R+ 是 Cohere 针对长上下文任务优化的最强大模型，而 Command R 则针对大规模生产工作负载进行了优化。随着 Cohere 模型即将在 Amazon Bedrock 中推出，企业可以构建企业级生成式 AI 应用程序，在概念验证之外，为日常 AI 操作平衡强大的准确性和效率。

Amazon Titan Image Generator 现已正式发布，Amazon Titan Text Embeddings V2 即将推出。除了添加最强大的第三方模型外，Amazon Titan Image Generator 今天也正式发布。借助 Amazon Titan Image Generator，广告、电子商务、媒体和娱乐等行业的客户可以利用自然语言提示，高效地大量生成逼真的工作室级图像，成本低廉。他们可以使用文本提示编辑生成的图像或现有图像，配置图像尺寸，或指定图像变体的数量来指导模型。默认情况下，Amazon Titan Image Generator 生成的每个图像都包含一个隐形水印，这符合亚马逊云科技通过减少错误信息传播来促进负责任和道德 AI 的承诺。水印检测功能可识别 Image Generator 创建的图像，旨在防篡改，有助于提高 AI 生成内容的透明度。水印检测有助于降低知识产权风险，使内容创作者、新闻机构、风险分析师、欺诈检测团队等能够更好地识别和减轻误导性 AI 生成内容的传播。

即将推出的 Amazon Titan Text Embeddings V2 可以高效地为搜索等关键企业用例提供更相关的响应。在利用 RAG 丰富响应以获得更多信息时，高效的嵌入模型对性能至关重要。Embeddings V2 针对 RAG 工作流程进行了优化，并与 Amazon Bedrock 的知识库无缝集成,可高效地提供更丰富、更相关的响应。Embeddings V2 通过提供256、512和1024维的灵活嵌入尺寸，在保留 RAG 用例97%准确性的同时优先考虑降低成本，优于其他领先模型。此外，灵活的嵌入尺寸可满足从低延迟移动部署到高精度异步工作流的多样化应用需求。

新的模型评估简化了访问、比较和选择 LLM 和 FM 的过程。选择适当的模型是构建任何生成式 AI 应用程序的关键第一步。LLM 的性能可能因任务、领域、数据模态和其他因素而有很大差异。例如，生物医学模型在特定医疗环境中可能优于一般医疗保健模型，而编码模型在自然语言处理任务中可能面临挑战。使用过于强大的模型可能导致资源使用效率低下，而性能不足的模型可能无法满足最低性能标准，可能提供错误的结果。在项目开始时选择不合适的 FM 可能会削弱利益相关者的信心和信任。

由于有如此多的模型可供选择，我们希望让客户更容易为他们的用例选择合适的模型。

现已正式发布的 Amazon Bedrock 的模型评估工具通过对特定数据集和评估指标进行基准测试和比较来简化选择过程，确保开发人员选择最符合其项目目标的模型。这种引导式体验允许开发人员根据每个用例量身定制的标准评估模型。通过模型评估，开发人员可以选择要评估的候选模型——公共选项、导入的自定义模型或微调版本。他们定义相关的测试任务、数据集和评估指标，如准确性、延迟、成本预测和定性因素。

能够从 Amazon Bedrock 中的顶级 FM 中进行选择对Elastic Security非常有益。Elastic 的产品管理总监 James Spiteri 分享道：“只需点击几下，我们就可以同时在多个模型上评估单个提示。这种模型评估功能使我们能够比较不同模型的输出、指标和相关成本，让我们能够在哪个模型最适合我们要实现的目标方面做出明智的决定。这极大地简化了我们的流程，为我们将应用程序部署到生产环境节省了大量时间。”

◆ Amazon Bedrock 提供了根据业务需求定制生成式 AI 的功能

虽然模型非常重要，但构建对组织有用的应用程序不仅仅需要一个模型。这就是为什么 Amazon Bedrock 提供了帮助您轻松将生成式 AI 解决方案量身定制到特定用例的功能。客户可以使用自己的数据通过微调或使用知识库进行完全托管的 RAG 体验来私下定制应用程序，从而提供更相关、更准确和更个性化的响应。Amazon Bedrock 的代理允许开发人员定义特定的任务、工作流程或决策过程，增强控制和自动化，同时确保与预期用例保持一致。从今天开始，您现在可以将代理与 Anthropic Claude 3 Haiku 和 Sonnet 模型一起使用。我们还引入了更新的亚马逊云科技控制台体验，支持简化的架构和控制返回，使开发人员易于上手。

借助新的自定义模型导入，客户可以利用 Amazon Bedrock 的全部功能和自己的模型。所有这些功能对于构建生成式 AI 应用程序都是必不可少的，这就是为什么我们希望让更多的客户可以使用它们，包括那些已经在不同服务上使用自己的数据对 LLM 进行了大量微调或从头开始训练自定义模型的客户。许多客户在 Amazon SageMaker 上拥有定制的模型，Amazon SageMaker 提供了超过250个预训练 FM 的最广泛阵容。这些 FM 包括尖端模型，如 Mistral、Llama2、CodeLlama、Jurassic-2、Jamba、pplx-7B、70B 和令人印象深刻的 Falcon 180B。

Amazon SageMaker 有助于组织数据和微调、构建可扩展和高效的训练基础设施，然后以低延迟、高成本效益的方式大规模部署模型。对于准备 AI 数据、管理实验、更快地训练模型（例如，Perplexity AI 在 Amazon SageMaker 中的训练速度提高了40%）、降低推理延迟（例如，Workday 使用 Amazon SageMaker 将推理延迟降低了80%）以及提高开发人员的生产力（例如，NatWest 使用 Amazon SageMaker 将 AI 的价值实现时间从12-18个月缩短到不到7个月）的开发人员来说，它是一个游戏规则改变者。然而，以安全的方式运营这些定制模型并将其集成到特定业务用例的应用程序中仍然存在挑战。

这就是为什么我们今天推出了 Amazon Bedrock 自定义模型导入，它使组织能够利用现有的 AI 投资以及 Amazon Bedrock 的功能。通过自定义模型导入，客户现在可以将他们在 Flan-T5、Llama 和 Mistral 等流行的开放模型架构上构建的自定义模型作为完全托管的应用程序编程接口（API）导入并访问 Amazon Bedrock。客户可以将他们在 Amazon SageMaker 或其他工具上定制的模型轻松添加到 Amazon Bedrock 中。经过自动验证后，他们可以像使用 Amazon Bedrock 中的任何其他模型一样无缝访问自定义模型。他们获得所有相同的好处，包括无缝的可扩展性和强大的功能来保护应用程序、遵守负责任的 AI 原则，以及能够通过 RAG 扩展模型的知识库、轻松创建代理来完成多步骤任务，并进行微调以持续教学和改进模型。所有这些都无需管理底层基础设施。

有了这个新功能，我们让组织在保持相同的简化开发体验的同时，可以轻松选择 Amazon Bedrock 模型和自己的自定义模型的组合。今天，Amazon Bedrock 自定义模型导入已预览版提供，支持三种最流行的开放模型架构，并计划在未来支持更多。

ASAPP 是一家拥有10年构建 ML 模型历史的生成式 AI 公司。技术总裁 Priya Vijayarajendran表示：“我们的对话式生成 AI 语音和聊天代理利用这些模型重新定义客户服务体验。为了给我们的客户提供端到端的自动化，我们需要 LLM 代理、知识库和模型选择的灵活性。通过自定义模型导入，我们将能够在 Amazon Bedrock 中使用现有的自定义模型。Amazon Bedrock 将允许我们更快地接纳客户、加快创新步伐，并加速新产品功能的上市时间。”

◆ Amazon Bedrock 提供了一个安全和负责任的基础，可以轻松实施保障措施

随着生成式 AI 能力的进步和扩展，建立信任和解决道德问题变得更加重要。Amazon Bedrock 通过利用亚马逊云科技安全可靠的基础设施，采用业界领先的安全措施、强大的数据加密和严格的访问控制来解决这些问题。

Amazon Bedrock 的护栏现已正式发布，可帮助客户防止有害内容并管理应用程序中的敏感信息。护栏提供业界领先的安全保护，使客户能够定义内容策略、设置应用程序行为边界，并实施防范潜在风险的保障措施。Amazon Bedrock 的护栏是主要云提供商提供的唯一解决方案，使客户能够在单一解决方案中为其生成式 AI 应用程序构建和自定义安全和隐私保护。与 Amazon Bedrock 上 FM 原生提供的保护相比，它可帮助客户阻止多达85%的有害内容。护栏提供全面的有害内容过滤支持和强大的个人身份信息（PII）检测功能。

护栏适用于 Amazon Bedrock 中的所有 LLM 以及微调模型，在模型如何响应不良和有害内容方面保持一致性。您可以配置阈值，在六个类别中过滤内容——仇恨、侮辱、性、暴力、不当行为（包括犯罪活动）和提示攻击（越狱和提示注入）。您还可以定义需要在生成式 AI 应用程序中阻止的一组主题或词语，包括有害词语、亵渎、竞争对手名称和产品。例如，银行应用程序可以配置护栏来检测和阻止与投资建议相关的主题。总结呼叫中心记录的联络中心应用程序可以使用 PII 编辑来删除呼叫摘要中的 PII，或者对话式聊天机器人可以使用内容过滤器来阻止有害内容。阅读更多关于 Amazon Bedrock 的护栏的信息。

像 Aha! 这样，一家帮助超过100万人将产品战略付诸实践的软件公司，使用 Amazon Bedrock 来为他们的许多生成式 AI 功能提供支持。

“我们通过 Amazon Bedrock 的数据保护和隐私策略完全控制我们的信息，并且可以通过 Amazon Bedrock 的护栏阻止有害内容。我们刚刚在此基础上构建，以帮助产品经理通过分析客户提交的反馈来发现洞察力。这仅仅是个开始。我们将继续在先进的亚马逊云科技技术基础上进行构建，帮助各地的产品开发团队充满信心地确定下一步要构建的重点。”

借助更多领先 FM 的选择以及帮助您评估模型和保护应用程序的功能，以及利用您之前在 AI 方面的投资和 Amazon Bedrock 的功能，今天的发布使客户构建和扩展生成式 AI 应用程序变得更加容易和快速。这篇博文仅重点介绍了新功能的一小部分。您可以在本帖的资源中了解更多关于我们发布的所有内容，包括在知识库中询问问题和总结单个文档的数据，而无需设置向量数据库，以及知识库支持多个数据源的正式发布。

利用 Amazon Bedrock 功能的早期采用者正在获得关键的先发优势——提高生产力、推动跨领域的突破性发现，并提供增强的客户体验，培养忠诚度和参与度。我很高兴看到我们的客户接下来将如何利用这些新功能。

正如我的导师 Werner Vogels 经常说的“现在就开始构建吧”，我要补充一句：“......使用 Amazon Bedrock！”