PromptLayer

PromptLayer为大语言模型应用提供可观测性，能在单一仪表板追踪请求、监控令牌使用及成本，调试多步骤人工智能工作流程。可在一个时间轴上追踪请求等多方面信息，检查AI请求全过程，支持按多种维度过滤查看提示等，跟踪多步骤AI执行，按多种类别跟踪令牌使用及花费，帮助调试AI系统，还能通过代码创建跟踪并兼容任何框架，在其中查看完整执行瀑布图。

产品功能

• 提供LLM应用的可观测性，在一个时间轴上追踪请求、工作流程、重试、工具调用、令牌使用、延迟和成本等
• 能检查每个AI请求从开始到结束的全过程，包括提示、响应、重试、调用的工具及成本等
• 支持查看每个提示、响应和重试，可按标签、用户、模型或状态进行过滤，具备14天数据保留和4毫秒开销，支持异步批处理
• 可跟踪多步骤AI执行过程，涵盖代理、工具和提供商，展示父跨度和子跨度，路径一目了然
• 能按模型、提供商、项目或请求跟踪令牌使用和花费，同时显示成本旁边的p50/p95延迟
• 帮助调试AI系统，能查看请求失败时实际发生的情况
• 通过几行代码创建跟踪和跨度，与任何提供商或编排框架兼容，并在PromptLayer中查看完整的执行瀑布图