毫不夸张地说，像 ChatGPT 和 Gemini 等 AI 机器人所依赖的大型语言模型正在改变世界。我们许多人现在依靠它们进行编码、写作、总结和搜索网页。在未来几年 AI 向何处发展，无论如何，大型语言模型将是那一未来的一部分。如果您使用 ChatGPT、Claude、Perplexity 或任何其他 AI 平台，那么您就是在使用大型语言模型。较少有人知道的是，这些大型语言模型可以在本地运行，在您自己的电脑上。关键好处是离线访问和更大的隐私，因为您不需要将任何东西发送到云端供其他人分析或审核。您也不需要支付任何 AI 公司每月的订阅费用或遭遇任何使用费。有许多大型语言模型可免费下载，包括来自 Meta 和 Google 等大公司的模型。尽管它们的先进性和速度通常不及您需要付费应用程序内部的语言模型，但它们对于日常使用是足够的，您可以根据需要进行选择。这里涉及的维护工作更多，而且失去了一些简单加载 ChatGPT 应用程序所带来的便利性（例如，您需要自己处理更新）。然而，您将得到一个完全个性化和私密的 AI 系统，开始使用并不难。 开始所需的内容 您可以在 Windows、macOS 和 Linux 上运行本地大型语言模型，尽管 macOS 通常是大多数 AI 爱好者的首选平台。由于只由一家公司制造 Macs，所有内容在 Macs 上都是更统一和一致的——与 Windows PC 不同，Apple Silicon 芯片将 CPU、GPU 和 RAM 结合在一起，这是 AI 模型所喜爱的。不论您选择哪个平台，拥有大量 RAM 非常重要。在最低情况下，您需要 8 GB，但如果只有 8 GB，您在可以运行的语言模型的大小和速度方面将有所限制。16 GB 是更好的选择，而如果您想使用最大和最快的模型，您需要 32 GB 或更多。为了获得最佳效果，您需要在专用 GPU 上有大量的 VRAM（超过 8 GB 的任何东西都会有所不同），因为这种类型的内存是为 AI 模型执行的任务优化的。 如果您使用 Windows，专用的 Nvidia GPU 帮助很大：图形芯片更适合运行 AI 处理，而标准处理器则少些，因此 Nvidia 和 AI 热潮密切相关也就不足为奇了。这些专用显卡也将有自己的 RAM，给 AI 模型提供额外的思考空间。因此，尽管没有“最低规范”来运行本地大型语言模型，但尽可能多的 RAM 和独立显卡无疑会有所帮助。 接下来，您需要一个运行模型的软件（充当外部接口），以及模型本身。这两者都有很多选择，因此您可以根据需要进行选择。Hugging Face 提供了超过 300 万个可供下载的模型。 对于初学者来说，LM Studio Bionic 通常被认为是 Windows 和 macOS 上最好的 AI 应用选择，并且可以免费使用。其他受欢迎且值得信赖的选项包括 vLLM、Llama.cpp、Ollama 和 GPT4All，也可在多个操作系统上使用。尽管这些软件的技术性和复杂性略高。 选择 AI 应用后，另一个决定是选择大型语言模型。我们提到的软件程序将指导您选择一些选项，此外，还有在线模型库，其中最著名的是 Hugging Face（拥有超过 300 万个可用的模型，选择丰富）。 本地大型语言模型设置示例 关于本地大型语言模型，有很多种设置方案，但我们将逐步带您通过在 Windows 上设置 LM Studio Bionic 的过程，以便给您一个具体的操作示例。一旦您从网站下载了安装文件，并且 LM Studio Bionic 正在运行，单击“创建项目”以开始，并为您的第一个项目命名。空白的对话窗口打开：如果您在提示框中单击“选择模型”，然后选择“获取本地模型”，您将进入 LM Studio Bionic 的主要模型选择界面。每个可用模型都列出了其大小、受欢迎程度和一些详细信息——如果您想得到一些推荐以便开始，可以关注工作人员挑选的小组。较小的模型尽管能力不如更大的模型，但它们下载速度会更快，并且在您的系统上占用空间更少。 返回聊天界面，一切工作方式类似于标准的 AI 聊天机器人应用。在底部的提示框中，您可以在安装的 AI 模型之间进行选择（如果您安装了多个大型语言模型），并且在提示框左侧有一个“+”（加号）图标，用于提交图像和文件（如果当前模型支持该功能）。在界面的左侧是导航窗格，您可以在项目之间切换。通过设置链接（左下）