我正在踏上一个我之前犹豫不决的旅程：真正规律地使用AI。将我最个人的数据提供给云服务对我来说是一个主要障碍，但现在可以越来越多地在本地运行强大的模型来看看它们的能力。这个技术是如此有用，以至于值得花费大量金钱购买一台或者一台内存昂贵的电脑或笔记本电脑吗？我会试着帮助你找出答案。我不是AI专家，这将是我自己的旅程，但也许我可以帮你看看这段旅程是否值得 — 我会通过这个过程不断分享我的体验。苹果对其新款Mac桌面的推销很大一部分就是它们在本地AI方面的表现，而一整系列新的RTX Spark Windows机器即将上市，它们配备高达128GB的内存，旨在使用智能AI。本地AI和代理目前真的是非常热门。但是，认真说起来，拥有一个只在我书桌上的盒子里存在的小帮手，它只听我的话而不是OpenAI、谷歌、微软或Anthropic的命令，这种想法与信任云服务或订阅聊天机器人稍有不同。别误会我的意思，我仍然不会让它为我写作、编辑或生成丑陋的传单。但现在，有了一些隐私，也许我终于可以考虑一些有用的琐碎工作来“信任”它。因此，作为我对M5 Ultra Mac Studio进行持续测试的一部分，以及在其他Mac和Windows系统上进行的实验，我安装了一些本地LLM，并开始进行一些尝试。以下是我的进展。1/4 Hermes代理可以与云或本地模型一起使用。我首先在Mac Studio上安装了开源的Hermes代理。Hermes是一个自托管的AI代理桌面应用，适用于macOS、Windows和Linux。如果你坚持使用本地LLM，它是完全免费的。由于这台M5 Ultra Mac Studio配备了256GB的统一内存，我可以运行几乎任何我想要的模型。这就是事情很快变得让人不知所措的原因。市场上有比我能数得过来的更多模型，其中一些具有专业用途。通常，拥有数十亿参数的模型能够做的事情比只有几亿参数的模型要多。并且因为我们在本地运行模型时不用担心支付令牌费用，所以我想在开始时选择一个大一点的模型。使用Hermes简单易用的入门界面和模型选择器，我选择了Qwen 3.8 Flash Next模型 - 这是一个拥有1250亿个参数，大小约为105GB的模型。我还计划在像M6 Mac Mini、M5 MacBook Air、配备AMD Strix Halo处理器的Asus TUF Gaming A14等设备上花一些时间使用更小的Qwen模型，并最终使用RTX Spark。（你愿意分享你使用的本地模型和硬件吗？你知道在哪里留言。🫡）用Hermes和Qwen快速就能上手，甚至通过Telegram机器人使它们可由我的手机控制。但是随后，我遇到了使用AI时常常遇到的敌手：文本框。“我该如何使用这个东西？”我的Hermes每日简报，它每天通过Telegram发送给我。基本，我知道。首先，为了开始，我遵循了一些有用的YouTube建议，让Hermes为我制作一个每日早间简报 — 先从小处着手，确保事情正常运作。它会扫描我的电子邮件和日历，告诉我任何值得我立即关注的事情，并提供简短的天气报告。虽然这并不算太有用，显然你不需要一台12000美元的电脑来构建它，但这是我可以随着时间的推移来开发的东西。起初，这个简报生成总是失败，但后来我最终发现，当任务在早上7:30启动时，macOS不能处于休眠状态。真是的！现在它像一个时钟一样运行，但我需要考虑更多的信息，以便让它为我提供更有用的结果。一个更有用的任务是重新组织我的Steam库。我在Steam上有超过400款游戏，最近我开始在想玩新游戏时对它们进行分类。Steam不会为你自动分类游戏，所以你必须手动一个个地进行。不过，这就是一个智能助手可以完美地融入的地方。我问：“你能 reorganize 我的Steam库吗？”Hermes可以通过查看已经安装的Steam客户端看到我大部分的游戏。它很快就给我提出了一些组织选项。我决定让它按类型组织我的游戏，但保留一些我自己的特殊分类（最爱、合作标题、派对游戏、与妻子一起玩的游戏等）。你需要给本地AI一些权限，让它在你的机器上执行操作，在我的游戏库的情况下，我必须注册一个Steam网页API密钥并将其提供给Hermes。获得该访问权限后，它只用了几分钟就完成了对所有游戏的分类处理。而且，我在之后很容易就撤销了API密钥，因为我不再需要它。其目的是为了它为我一次性完成这种繁重的工作，然后我会在将来购买新游戏时将其分类。总体来说，它做得很好，