目前，DeepSeek的参数量达到10万亿，远超其现有6710亿的DeepSeek-R1和阿里巴巴的2.4万亿Qwen 3.8-Max。从华为最近发布的技术文档来看，DeepSeek首次明确探索了10万亿参数模型的预训练，这引发了人们对其实际应用的关注。
面对“10万亿参数”的概念，很多人可能会感到陌生。要理解这个数字的意义，首先需要了解MoE（混合专家模型）架构。MoE模型像一个团队，各专家专注于各自擅长的领域，而不是像稠密模型那样全面调动所有资源。这种设计使得尽管总参数量大，但每次实际运算时只有少部分活跃参数，因而提高了模型效率，降低推理成本。
在技术方案中，“部署权衡”的内容格外重要。训练这样一个庞大的模型并非简单地增加硬件，反而涉及到显存、计算效率等多重挑战。华为的方案通过分层并行策略，将模型算法分散到多张芯片上，优化了运算效率。DeepSeek V4已经在这一架构下展现出不俗的性能，虽然数据不算顶尖，但足以支撑大规模推理服务。
与阿里巴巴的路线有所不同，DeepSeek更注重提升性价比，聚焦更少的激活参数以实现高效输出，而阿里则在追求AI的自我改进。在这场技术竞赛中，各家公司都朝着更大的模型发展，只是策略与节奏有所不同。
最后，训练10万亿参数的成本预计相当高昂，需求大规模的AI加速卡和数月的训练周期，整体投入数十亿。但值得一提的是，这并不会直接影响API的使用成本，真正的成本取决于每次推理时的活跃参数数量。
发表评论