Vizuara AI Labs创始人Raj Dandekar发布了电子书《预训练一个迷你Kimi K3》，记录了仅用252.35美元租用单张H200，在50亿Token上从零训练出10亿参数MoE模型的过程。
全书30章不仅拆解了K3的架构缩放，更通过179张图表展示了从数据去污染到分布式训练的全流程。相比于最终跑通的模型，这份记录最珍贵的是它对“失败”的坦诚。
作者指出了Moonshot官方代码中4个导致无法运行的未文档化问题，并复现了MoE架构中常见的专家坍塌——第20步就有94.5%的专家罢工。这打破了算力即一切的迷信，它提醒开发者，在通往Scaling Law的路上，那些不报错但悄悄出错的分布式Bug，以及16次尝试仅3次成功的性能优化，才是决定模型生死的分水岭。这种将大厂架构平民化的尝试，让普通开发者也能在有限预算下触碰LLM的真实肌肉。
