一个小站的自留地

通义千问 Qwen2 系列模型开源

中国时间 6 月 7 日 0 点，通义千问宣布 Qwen2 系列模型开源，包括 0.5B、1.5B、7B、57B-A14B （使用 Apache 2.0 协议）和 72B （使用 Qianwen License 协议）等多个版本。

技术参数方面，Qwen2 系列模型在各个尺寸都使用了 GQA (Generalized Query Attention)，并且除了中英文外，还使用了其他 27 种语言的训练数据。具体上下文处理能力如下：

· 72B 和 7B 版本可处理 128K 上下文
· 57B-A14B 版本可处理 64K 上下文
· 0.5B 和 1.5B 版本可处理 32K 上下文

Github / Hugging Face 地址

（赛博禅心）