一个小站的自留地

Meta 发布 Llama 3.2 北京时间2024 年 9 月 26 日凌晨，Meta 发布 Llama 3.2。 本次发布，包含 4 种尺寸的模型，包括 1B、3B、11B 和 90B，以及一些硬件：一款新的雷朋 AI 眼镜 和 Meta Quest 3S： 1B/3B：旨在提供边缘算力，也就是可以在如移动设备上运行，目前已支持Arm、高通（Qualcomm）和联发科（MediaTek） 11B/90B：具备多模态能力，并可直接替代 Llama 3.1 8B 和 70B。 Llama St…

Meta 发布 Llama 3.3

Meta 发布了新一代大语言模型 Llama 3.3 70B，该模型采用优化的 Transformer 架构，支持 128k 的上下文长度，并通过监督式微调 (SFT) 和基于人类反馈的强化学习 (RLHF) 进行训练。

官方宣称，Llama 3.3 70B 的性能与 Llama 3.1 405B 模型相当。

Llama 3.3 的主要特点包括：
- 支持英语、德语、法语、意大利语、葡萄牙语、印地语、西班牙语和泰语等 8 种语言
- 在多个基准测试中展现出色表现，如在 MMLU 测试中达到 86%，HumanEval 代码评估达到 88.4%
- 训练数据量超过 15 万亿词元，训练截止日期为 2023 年 12 月

据 Meta 介绍，Llama 3.3 在合成数据生成和知识蒸馏等应用场景中表现优异。模型已通过 Llama 3.3 社区许可协议开源，可用于商业和研究用途。

（Meta）