JetMoE：实践指南

如果把JetMoE放进候选清单，不能只看热度；它的定位是以 10 万美元达到 LLaMA2 绩效。从日常自动化的使用方式看，输入边界、依赖和失败处理如果不清楚就很难稳定复用是采用前必须回答的问题。与其反复读介绍，不如用一项范围明确的真实任务完成最小试跑，再依据配置时间、输出质量、异常信息和维护痕迹做取舍。我的判断是，它更适合愿意先做小范围验证并复查原始文档的团队；若眼下没有这类需求，先保留观察即可。

JetMoE：以 10 万美元达到 LLaMA2 性能

关键信息

1. JetMoE-8B 的训练成本不到 10 万美元¹ 成本，但优于 Meta AI 的 LLaMA2-7B，后者拥有数十亿美元的培训资源。 LLM 培训可以比人们以前想象的便宜得多。

2. JetMoE-8B 是完全开源且学术界友好的，因为：

   • 它仅使用公共数据集进行训练，并且代码是开源的。不需要专有资源。
   • 它可以在非常有限的计算预算（e.g.，消费级GPU）的情况下进行微调，大多数实验室都可以负担得起。

3. JetMoE-8B 在推理过程中只有 2.2B 个活动参数，这大大降低了计算成本。与具有类似推理计算的模型（如 Gemma-2B）相比，JetMoE-8B 不断取得更好的性能。

¹ 我们使用了 96×H100 GPU 集群两周，花费约 8 万美元。

网址：https://research.myshell.ai/jetmoe

HuggingFace: https://huggingface.co/jetmoe/jetmoe-8b

Lepton AI 在线演示： https://www.lepton.ai/playground/chat?model=jetmoe-8b-chat

技术报告：https://arxiv.org/pdf/2404.07413.pdf

协作

如果您有很好的想法，但需要更多资源（GPU、数据、资金等），欢迎通过曾一秦联系MyShell.ai。 MyShell.ai 开放合作，积极支持高质量的开源项目。

基准测试

我们使用与 Open LLM 排行榜相同的评估方法。对于 MBPP 代码基准测试，我们使用与 LLaMA2 和 Deepseek-MoE 论文中相同的评估方法。结果如下所示：

令我们惊讶的是，尽管训练成本和计算量较低，JetMoE-8B 的性能甚至比 LLaMA2-7B、LLaMA-13B 和 DeepseekMoE-16B 还要好。与具有类似训练和推理计算的模型（如 Gemma-2B）相比，JetMoE-8B 实现了更好的性能。

型号用途

要加载模型，您需要安装此软件包：

pip install -e .

然后您可以使用以下代码加载模型：

from transformers import AutoTokenizer, AutoModelForCausalLM, AutoConfig, AutoModelForSequenceClassification
from jetmoe import JetMoEForCausalLM, JetMoEConfig, JetMoEForSequenceClassification

AutoConfig.register("jetmoe", JetMoEConfig)
AutoModelForCausalLM.register(JetMoEConfig, JetMoEForCausalLM)
AutoModelForSequenceClassification.register(JetMoEConfig, JetMoEForSequenceClassification)

tokenizer = AutoTokenizer.from_pretrained('jetmoe/jetmoe-8b')
model = AutoModelForCausalLM.from_pretrained('jetmoe/jetmoe-8b')

型号详情

模型详情和训练详情请参考技术报告https://arxiv.org/pdf/2404.07413.pdf。