当前位置 > 首页 > 新闻动态 > 会员动态 > 降低AIGC应用门槛 网宿科技推出一站式边缘智能解决方案

降低AIGC应用门槛 网宿科技推出一站式边缘智能解决方案

随着大模型竞相涌现，如何让AIGC更加便捷、广泛地应用到垂直场景，成为业界重点关注的方向。日前，在全球边缘计算大会上，网宿科技宣布推出了面向AIGC的一站式边缘智能解决方案，从Serverless GPU、AI网关、模型微调与推理服务三个层面，大大降低AIGC应用的落地门槛，旨在帮助用户以低成本、高效率的方式轻松实现AI应用创新。

　　网宿科技边缘智能平台资深架构师陈云辉在会上指出，尽管国内基础大模型百花齐放，但用户在实际落地中仍面临较高门槛。

　　具体而言，从0开始实现AI应用落地的过程中，企业用户必须综合考虑多个关键因素，包括对比开源模型和云服务商的推理成本与性能评估，重视系统的安全性、敏感词过滤等，特别是在与现有业务的改造整合中，更是问题多多。对于对数据隐私和模型控制有严格要求的应用场景，还需考虑针对特定垂直场景的私有模型微调。这些都使得整个实施周期漫长且成本高昂。

　　边缘计算拥有高效的数据处理能力、实时的响应速度、更低的带宽要求等优势，可以在AIGC应用过程中发挥关键价值。业界的普遍共识也是，未来AI模型的推理与内容生产将呈云侧、边缘侧、端侧的梯度分布。

　　作为领先的边缘计算企业，网宿科技凭借在边缘计算领域的深厚积累，近年来对AIGC展开了持续探索，逐步形成了涵盖ServerlessGPU、AI网关、模型微调与推理服务的一站式边缘智能解决方案。

　　据介绍，网宿Serverless GPU为用户提供高度可扩展、按需使用的GPU算力资源服务，主要适用于多种计算密集型任务，如AI模型推理、音视频加速生产、图形加速等。

　　“Serverless GPU除了拥有免运维的特性外，相较集中部署，由于GPU资源是放在边缘侧，离用户更近，更贴近业务边缘，具有低时延优势。并且，通过按需分配和GPU虚拟化技术，大大提高GPU资源的利用率，可以有效降低用户的GPU使用成本。”陈云辉表示。

　　网宿AI网关则是一款针对大语言模型的统一API接口，可以用于个人开发者和企业级AI应用，帮助管理和整合多个后端大模型接口，提高AI应用的稳定性和可靠性，并降低后端模型的调用成本。

　　此外，对数据隐私、模型可控性有强要求的企业往往选择部署自有开源模型，对此，网宿边缘模型训练推理平台可以提供最经济可靠的模型推理服务。

　　值得一提的是，除了上述三大产品，网宿科技还在积极探索AIGC工作流引擎和AI营销创意平台两个新方向，以进一步丰富自身的边缘智能方案能力。