一个小站的自留地
马斯克旗下大模型公司xAI开源Grok-1 今天凌晨，埃隆·马斯克（Elon Musk）旗下的大模型公司xAI宣布正式开源其3140亿参数的混合专家（Mixture of Experts, MoE）模型「Grok-1」。 Grok-1 的模型细节包括如下： 据机器之心，Grok-1是基于大量文本数据训练的基础模型，该模型的MoE架构在给定token上的激活权重为25%，且从头开始训练，未使用任何特定应用（如对话）进行微调。 根据推特网友Andrew Kean Gao的分析，Grok-1模型的关键特点如下：…
阿里正式开源1100亿参数Qwen1.5-110B模型

Qwen1.5-110B模型是截止目前为止国内开源模型中参数规模最大的模型。Qwen1.5-110B模型与其它Qwen1.5系列模型架构一致。采用了分组查询注意力机制，因此推理效率很高。该模型最高支持32K上下文，并且支持多语言。

根据官方公布的评测结果，Qwen1.5-110B模型的评测结果略超过Llama-3-70B和Mixtral-8×22B，是除了Llama3-70B-Instruct模型外最强的开源模型。

国内此前开源领域最大的参数模型是720亿参数规模的Qwen1.5-72B规模和650亿参数的深圳元象科技开源的XVERSE-65B。

（DataLearner）
——————
可信度：A
 
 
Back to Top