主要内容
亚太地区的 AI 支出持续增长，但许多公司仍难以从其 AI 项目中获得价值。这在很大程度上与支持 AI 的基础设施有关，因为大多数系统并非为以实际应用所需的速度或规模运行推理而构建。行业研究表明，许多项目即使在对 GenAI 工具进行大量投资后仍未达到其投资回报率目标，就是因为这个问题。这一差距表明，AI 基础设施对该地区的性能、成本和实际部署的扩展能力有多大影响。
Akamai 正试图通过 Inference Cloud 来应对这一挑战，该云由 NVIDIA 构建并由最新的 Blackwell GPU 提供支持。其理念很简单：如果大多数 AI 应用需要实时做出决策，那么这些决策应该在靠近用户的地方而不是在遥远的数据中心做出。Akamai 称，这种转变可以帮助公司管理成本、减少延迟，并支持依赖毫秒级响应的 AI 服务。
Akamai 云计算首席技术官 Jay Jenkins 向 AI 新闻解释了为什么现在这个时刻迫使企业重新思考如何部署 AI，以及为什么推理而非训练已成为真正的瓶颈。
为何没有合适的基础设施，AI 项目会举步维艰？Jenkins 表示，实验与全面部署之间的差距比许多组织预期的要大得多。“许多 AI 计划未能实现预期的商业价值，因为企业往往低估了实验与生产之间的差距，”他说。即使对 GenAI 有浓厚的兴趣，庞大的基础设施账单、高延迟以及大规模运行模型的难度通常也会阻碍进展。
大多数公司仍依赖集中式云和平大型 GPU 集群。但随着使用的增长，这些设置变得过于昂贵，尤其是在远离主要云区域的地区。当模型必须在长距离上运行多个推理步骤时，延迟也成为一个主要问题。“AI 的强大程度取决于其运行的基础设施和架构，”Jenkins 说，并补充说延迟通常会削弱用户体验和企业希望提供的价值。他还指出，多云设置、复杂的数据规则和不断增长的合规需求是阻碍从试点项目向生产转移的常见障碍。
为何现在推理比训练更需要关注？在整个亚太地区，AI 的采用正从小型试点转向应用和服务中的实际部署。Jenkins 指出，随着这种情况的发生，日常推理——而非偶尔的训练周期——消耗了大部分计算能力。随着许多组织在多个市场推出语言、视觉和多模态模型，对快速可靠推理的需求增长速度超过预期。这就是为什么推理已成为该地区的主要限制因素。模型现在需要在不同的语言、法规和数据环境中运行，通常是实时运行。这给从未设计用于这种响应水平的集中式系统带来了巨大压力。
边缘基础设施如何改善 AI 性能和成本？Jenkins 表示，将推理更靠近用户、设备或代理可以重塑成本方程式。这样做可以缩短数据必须传输的距离，并使模型能够更快地响应。它还避免了在主要云中心之间路由大量数据的成本。物理 AI 系统——机器人、自主机器或智慧城市工具——依赖于毫秒级的决策。当推理在远处运行时，这些系统无法正常工作。更本地化部署带来的节省也可能非常可观。Jenkins 表示，Akamai 的分析表明，当工作负载置于边缘而非集中式云时，印度和越南的企业在运行图像生成模型的成本方面大幅降低。更好的 GPU 使用和更低的出口费用在这些节省中发挥了重要作用。
边缘 AI 在哪里获得了吸引力？早期对边缘推理的需求主要来自需要实时响应的应用，如自动驾驶汽车、智能零售和工业自动化。随着 5G 网络的普及和边缘计算技术的发展，边缘 AI 的应用场景正在不断扩大。例如，在智能城市中，边缘 AI 可以用于实时监控和分析交通流量、环境质量等数据，以提高城市管理的效率和安全性。在医疗保健领域，边缘 AI 可以用于实时分析医疗图像和监测患者的生命体征，以提供更快速和准确的诊断和治疗。
总之，边缘 AI 正在成为 AI 发展的一个重要趋势，它可以提高 AI 的性能和效率，同时降低成本和延迟。随着技术的不断进步，边缘 AI 的应用场景将会越来越广泛，为各个行业带来更多的创新和价值。