ZeroGPU

ZeroGPU助力AI应用降推理成本，通过将大量AI任务转移至跨边缘驱动推理网络的专用模型实现。可将任务路由到专门模型助AI应用访问低成本计算，分析工作负载识别特定任务，运行相关模型执行多种操作，通过优化资源执行工作负载，跟踪成本等指标，支持多场景，提供兼容API及节省计算器，比较与其他提供商令牌使用月成本。

产品功能

• 将大量AI任务路由到跨边缘推理网络的专门模型，帮助AI应用和智能体访问低成本计算
• 分析工作负载，识别不需要前沿规模推理的任务
• 运行特定任务的模型进行总结、分类、信号提取、PII检测、审核和路由等
• 通过优化的服务器、批准的边缘容量和云回退来执行工作负载
• 跟踪成本降低、延迟改善、避免的前沿模型调用和模型性能
• 支持多种AI应用场景，如意图检测、文档分析、广告技术、合规、安全、欺诈风险等
• 提供与OpenAI兼容的API，可通过熟悉的API模式将选定工作负载发送到专门模型
• 提供节省计算器，比较ZeroGPU模型和其他提供商的令牌使用估计月成本