提高对 Amazon Bedrock 使用情况和性能的可见性，借助 Amazon CloudWatc

强化对 Amazon Bedrock 使用情况和性能的可视化监控

关键要点

最近，Amazon Bedrock 使客户能够使用生成性人工智能 创建出色的新体验。作为一项全面管理的服务，Amazon Bedrock 通过单一 API 提供来自 AI21 Labs、Anthropic、Cohere、Meta、Stability AI 和 Amazon 等顶尖 AI 公司的一系列高性能基础模型FMs，使客户更快地进行实验和创新。然而，当客户希望操作化这些新的生成性 AI 应用程序时，监控这些应用的健康和性能变得至关重要。

在这篇文章中，我们将分享一些帮助您快速、轻松获取 Amazon Bedrock 工作负载可见性的功能，结合您更广泛的应用场景。我们将使用 Amazon Bedrock GitHub 仓库中的上下文对话助手示例，举例说明如何自定义视图以进一步增强与您的用例相关的可见性。具体来说，我们将介绍如何利用 Amazon CloudWatch 的新自动仪表板，获得关于 Amazon Bedrock 模型的使用情况和性能的全面视图，并通过提供可视化和洞察力的小工具来自定义仪表板，以便对例如您应用程序中的检索增强生成RAG等组件和操作进行监控。

在 CloudWatch 中推出 Amazon Bedrock 自动仪表板

CloudWatch 提供自动仪表板，帮助客户快速深入了解 AWS 服务的健康和性能。最近添加的 Amazon Bedrock 自动仪表板提供了针对 Amazon Bedrock 模型关键指标的洞察。

要从 AWS 管理控制台访问新的自动仪表板，请执行以下步骤：

借助新的自动仪表板，您可以一览关键指标，解决诸如调用延迟、跟踪令牌使用和检测调用错误等常见挑战。

创建自定义仪表板

除了自动仪表板，您还可以使用 CloudWatch 创建 自定义仪表板，组合来自多个 AWS 服务的指标，以创建应用级仪表板。这不仅对于监控性能很重要，还可以用于调试和实现自定义逻辑来响应潜在问题。此外，您可以使用自定义仪表板分析从提示生成的调用日志，这有助于收集在指标中无法获得的信息，例如身份归属。利用 AWS 提供的机器学习功能，您还可以在日志中检测和保护敏感数据。

对特定用例自定义模型时，常用的选择是实现检索增强生成RAG，让模型与特定领域数据相结合。在基于 RAG 的架构中，您需要结合多个组件，包括外部知识源、模型和执行 RAG 工作流所需的计算能力。因此，监控这些组合在您整体监控策略中至关重要。在本节中，您将学习如何使用示例 RAG 架构来创建自定义仪表板，其中涉及 Amazon Bedrock。

此博客文章基于 上下文对话助手示例 创建一个自定义仪表板，以提供对示例 RAG 解决方案核心组件的可视化和洞察。要在您的 AWS 账户中复制仪表板，请遵循上下文对话助手的说明，在创建仪表板之前设置所需的示例。

在设置好上下文对话助手示例后，通过使用示例应用程序并尝试不同提示生成一些流量。

创建和查看上下文对话助手应用程序的自定义 CloudWatch 仪表板的步骤如下：

使用归属

当您希望监控来自不同应用程序或用户的调用使用情况时，可以使用 Amazon Bedrock 调用日志更清晰地了解每次调用的来源和令牌消耗。以下是来自 Amazon Bedrock 的一个示例调用日志，其中包含有关特定调用的重要信息，包括调用用户的 identityarn。

您可以使用 CloudWatch Logs Insights 按身份获取各个 Amazon Bedrock 调用的使用情况。例如，您可以编写一个日志 Insights 查询，以计算调用大型语言模型LLM时，各种应用程序和用户的令牌使用情况。在日志 Insights 中，首先选择 Amazon Bedrock 调用日志组，然后编写查询过滤 identityarn 和输入/输出令牌计数，然后汇总统计数据以计算每个 ARN 的令牌使用总量。

plaintextfields @timestamp identityarn inputinputTokenCountoutputoutputTokenCount stats sum(inputinputTokenCount) as totalInputTokens sum(outputoutputTokenCount) as totalOutputTokens count() as invocationCount by identityarn

您还可以选择将此查询添加到仪表板，以便持续监控。

在添加到仪表板菜单中，您可以将结果添加到现有仪表板或新增一个仪表板。

通过将日志信息包含在自定义仪表板中，您可以实现对对话助手应用程序健康、性能和使用情况的全面可见性。

要帮助您入门，您可以访问 GitHub 上自定义仪表板代码的模板，以便在 CloudWatch 控制台中创建自己的自定义仪表板。

结论

在这篇文章中，我们强调了客户在操作化生成性 AI 应用程序时面临的三个常见挑战：

在 CloudWatch 中，您可以使用自动仪表板来监控 Amazon Bedrock 指标，并创建自己定制的仪表板以监控应用程序的附加指标，例如 RAG 检索健康状况。我们还展示了如何利用 CloudWatch Logs Insights 查询提取应用程序/用户的使用归属，并在自定义仪表板中将其添加为日志小工具进行持续监控。您可以从提供的 上下文对话助手示例 中开始使用 Amazon Bedrock 监控，并访问此 GitHub 仓库中的自定义仪表板模板 GitHub repository

关于作者

Peter Geng 是 Amazon CloudWatch 的高级产品经理，专注于在 CloudWatch 中监控和操作云及 LLM 工作负载。他在云可观察性、LLMOps 和 AIOps 方面拥有丰富经验，并拥有加利福尼亚大学伯克利分校的 MBA 和理科硕士学位。

Nikhil Kapoor 是 Amazon CloudWatch 的首席产品经理，负责日志摄取和结构日志功能，旨在为我们的客户简化和增强日志分析。Nikhil 拥有超过 15 年的行业经验，专注于可观察性和 AIOps。

Shelbee Eigenbrode 是 AWS 的首席 AI 和机器学习解决方案架构师，拥有 24 年的技术经验，涉猎多个行业和技术领域。她目前专注于将自己的 DevOps 和机器学习背景结合，帮助客户大规模交付和管理 ML 工作量。Shelbee 拥有 35 项发明专利，是 Coursera 上 实用数据科学 专业的共同创作者和讲师，也是 Denver 女性大数据 (WiBD) 分会的联合主任。

Michael Wishart 是 AWS 的 NAMER 云运营负责人，负责帮助客户解决 AWS 原生服务的可观察性和治理挑战。加入 AWS 之前，Michael 在半导体、SaaS 和自动驾驶卡车等行业领导业务发展活动。

Bobby Lindsey 是 AWS 的机器学习专家，拥有超过十年的技术经验，涵盖多个角色和领域。目前，他专注于将自己在软件工程、DevOps 和机器学习方面的背景结合，帮助客户大规模交付机器学习工作流。在闲暇时间，他喜欢阅读、研究、徒步旅行、骑行和越野跑。

Loading comments