月之暗面發(fā)布萬(wàn)億參數(shù)開(kāi)源模型Kimi K2，多位研發(fā)工程師在知乎“親自答”

7月11日晚，國(guó)內(nèi)大模型獨(dú)角獸月之暗面正式發(fā)布并開(kāi)源了其最新一代MoE架構(gòu)基礎(chǔ)模型Kimi K2，總參數(shù)量達(dá)到1萬(wàn)億（1T），Kimi內(nèi)部則將K2研發(fā)群戲稱(chēng)為“接生群”。多位參與“接生”的Kimi研發(fā)人員隨后在知乎展開(kāi)“親自答”，從多個(gè)角度深入講述了其背后研發(fā)歷程。作為月之暗面 Infra側(cè)推理方面研發(fā)人員，知乎答主劉少偉稱(chēng)K2模型是在DeepSeek V3結(jié)構(gòu)的框架之下，如何選擇合適的參數(shù)，使得模型在訓(xùn)練、推理成本與v3相當(dāng)?shù)那疤嵯?，獲得明顯更低的loss。