AI2 开源新 LLM，重新定义 open AI-阿里云开发者社区

AI2 开源新 LLM，重新定义 open AI

2024-02-02 269

版权

本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

简介： 艾伦人工智能研究所（Allen Institute for AI，简称 AI2）宣布推出一个名为 OLMo 7B 的新大语言模型，并开源发布了预训练数据和训练代码。OLMo 7B 被描述为 “一个真正开放的、最先进的大型语言模型”。

2023 大语言模型技术报告.pdf

艾伦人工智能研究所（Allen Institute for AI，简称 AI2）宣布推出一个名为 OLMo 7B 的新大语言模型，并开源发布了预训练数据和训练代码。OLMo 7B 被描述为 “一个真正开放的、最先进的大型语言模型”。

AI2 是由已故的微软公司联合创始人保罗 - 艾伦（Paul Allen）于 2014 年在西雅图创办的一家非营利组织。该组织表示，他们开源 OLMo 模型旨在让 AI 研究社区充分了解最先进的大语言模型（LLM），从而推动自然语言处理的发展，并以科学的方式正视现有 LLM 存在的问题。

“通过向公众完全开放 OLMo 及其训练数据，AI2 在协作构建世界上最好的开放语言模型方面迈出了一大步。”

OLMo 框架具有一套完全开放的 AI 开发工具，包括：

完整的预训练数据：该模型建立在 AI2 的 Dolma 语料库上，该语料库具有三万亿个用于语言模型预训练的 token 开放语料，包括生成训练数据的代码。
训练代码和模型权重： OLMo 框架包括 7B 规模的四个模型变体的完整模型权重，每个模型至少训练有 2T token。提供了推理代码、训练指标和训练日志。
评估：开发中使用的评估套件已发布，每个模型包含 500 多个 checkpoints，来自训练过程中的每 1000 个步骤，以及 Catwalk 项目下的评估代码。

在接下来的几个月中，AI2 计划继续迭代 OLMo，并将不同的模型大小、模式、数据集和功能引入 OLMo 系列。

OLMo 项目负责人、AI2 NLP 研究高级主管、华盛顿大学艾伦学院教授 Noah Smith 表示:

“有了 OLMo，open 就是真正意味上的 'open'，AI 研究界的每个人都可以访问模型创建的各个方面，包括训练代码、评估方法、数据等。AI 曾经是一个以活跃的研究社区为中心的开放领域，但随着模型的发展、成本的增加以及开始转化为商业产品，AI 工作开始闭门造车。我们希望通过 OLMo 扭转这一趋势，让研究界能够团结起来，以科学的方式更好地理解和使用语言模型，从而开发出更负责任的 AI 技术，造福于每个人。”

原文链接：https://www.oschina.net/news/277396

来源：OSCHINA - 中文开源技术交流社区