NVIDIA与Pinterest如何赋能实时视觉AI

新闻要点

Pinterest在NVIDIA Blackwell GPU及Dynamo/vLLM栈上构建视觉语言模型推理服务,支撑1.4万张GPU集群。该优化使AI交易成本降至之前专有模型的8%以下,首字生成速度提升369倍,并支持Pinterest Assistant处理多轮对话中的大量视觉上下文。

正文

Pinterest与NVIDIA合作五年后,基于NVIDIA Blackwell架构构建了视觉语言模型服务栈。该方案支撑其每月6.4亿活跃用户,利用约1.4万张NVIDIA GPU处理海量搜索与图像数据。Pinterest首席架构师Kartik Paramasivam表示,此举旨在以高效、低成本方式服务于“Pinterest Assistant”,实现图文实时对话。

技术层面,Pinterest采用开放权重模型并在自家数据上微调,相比封闭专有模型,AI推理交易成本降至8%以下。通过复用预计算的PinCLIP嵌入而非重复编码图像,配合NVIDIA Dynamo调度优化,首次 token 生成速度平均提升约85倍,端到端延迟降低44倍。这使得助手能在多轮对话中跟踪多达25倍的视觉上下文,无需用户重复指令即可自然调整推荐结果。

除了对话助手,该技术还应用于多模态重排序、内容安全及信号生成等场景。Pinterest结合自研推荐引擎与开源VLM,形成混合策略。NVIDIA方面强调,企业应优化完整推理管道,包括重用视觉嵌入和管理KV缓存压力,并建议针对真实生产中的多轮交互流量进行基准测试,以避免优化方向偏离实际业务需求。

评论 0

逛逛 Pop ↗
奖励 100 宝石

评论审核通过后可获奖励,与 Pop 共用每日 3 条额度,同一新闻每天奖励一次。

还没有评论,来分享第一个想法吧。

提交反馈

每一个想法,都让 Mergeek 更好一点。