大模型推理

NVIDIA在ComputeX大会上发布的CPU与GPU一体化封装芯片，已在Bilibili World展会中展示真机。该设计旨在提升笔记本运行大模型的性能表现。

Together AI官方剖析了在NVIDIA HGX B200平台上服务DeepSeek-V4百万令牌长上下文的推理系统挑战与优化方案。