【yabo科技消息】近日，华为数据存储与DaoCloud道客联合宣布，正式推出AI推理加速联合解决方案。该方案融合了华为UCM（Unified Cache Manager）推理记忆数据管理技术和道客d.run算力调度平台，旨在通过资源的精细化管理和智能调度提升算力利用率。
据yabo了解，该联合方案具备以下核心优势：
生态兼容：支持平台、计算和存储联动，适配英伟达、华为昇腾等多元AI算力，支持TensorFlow/vLLM/SGLang等主流AI框架，借助Kubernetes可无缝对接华为OceanStor A系列存储。
推理加速：通过持久化KV Cache到华为OceanStor A系列存储，实现推理记忆知识全量保存，避免反复计算；融合Prefix Cache、Training-free稀疏等加速算法，降低首Token时延，倍数级提升长序列推理吞吐与体验。
高效算力：算力资源细粒度切分及池化，按需调度，实现资源利用率最大化；调度器具备拓扑感知能力，优化任务在xPU间的通信效率，保障AI训练与推理任务稳定低耗运行。
极简运维：提供多租户隔离、资源配额管理、完整的监控告警及计费计量等功能，满足企业级使用与运维需求。
在问答助手场景中，经实际测试验证，该联合解决方案采用Prefix Cache算法，将首Token时延降低55%，且随着序列长度越长，TTFT降低效果越明显。在长文档推理场景中，方案采用稀疏化处理，32K序列实现推理吞吐量提升75%，提升推理性价比。
值得一提的是，该联合解决方案目前已在电力、金融等行业展开试点应用。
版权所有，未经许可不得转载
-yabo.com官网入口