在家运行大型语言模型，类似于 BitTorrent。使用 Llama 3.1（高达 405B）、Mixtral（8x22B）、Falcon（40B+）或 BLOOM（176B）生成文本，并针对您的任务进行微调——使用消费级 GPU 或 Google Colab。您加载模型的一部分，然后加入一个网络，与其他人共享其其他部分。单批推理对于 Llama 2（70B）最高可达每秒 6 个标记，对于 Falcon（180B）最高可达每秒 4 个标记——足以满足聊天机器人和互动应用的需求。超越经典 LLM API——您可以采用任何微调和采样方法，执行自定义的路径，或查看其隐藏状态。您获得了 API 的便利性，同时拥有 PyTorch 和 🤗 Transformers 的灵活性。当前顶级贡献者：正在加载... 在 Discord 或通过电子邮件关注开发动态：我们每几个月发送一次更新。没有垃圾邮件。我们已向您发送电子邮件以确认您的地址。点击它，您就加入了！推荐展示：该项目是 BigScience 研究工作坊的一部分。