一个小站的自留地 马斯克旗下大模型公司xAI开源Grok-1 今天凌晨,埃隆·马斯克(Elon Musk)旗下的大模型公司xAI宣布正式开源其3140亿参数的混合专家(Mixture of Experts, MoE)模型「Grok-1」。 Grok-1 的模型细节包括如下: 据机器之心,Grok-1是基于大量文本数据训练的基础模型,该模型的MoE架构在给定token上的激活权重为25%,且从头开始训练,未使用任何特定应用(如对话)进行微调。 根据推特网友Andrew Kean Gao的分析,Grok-1模型的关键特点如下:…