嗨，黑客新闻，我是路易斯。我创建了 Screenpipe (https://screenpipe.com)。Screenpipe 是一款仅在本地录制您的屏幕和音频的应用程序，并为 AI 代理提供一个可以搜索的关于您所看到、所说和所听内容的记忆库。这使得自动化您的重复任务、将其转化为标准操作程序（SOP）等变得更加容易。我制作了一个 HN 风格的演示视频，网址为 https://www.tella.tv/video/build-your-ai-second-brain-with-s...，并且有一个营销视频在 https://www.youtube.com/watch?v=c1jV6E9pyug。我对此项目非常痴迷，自 2020 年以来我一直在维护一个“第二大脑”，在其中我存储了日记、手写笔记、我听的音乐、我正在进行的项目以及我与人交谈的记录、个人 CRM 等等。我在早期使用 ParlAI、数百个微调的 GPT2 模型和 GPT3（https://forum.obsidian.md/t/fine-tuning-openai-api-gpt3-on-y...）做了很多 RAG 的实验。后来，我构建了 Ava，这是第一个 Obsidian AI 插件，迅速增长到了几千用户。然后它变成了 Embedbase，这是一个 API，使构建基于 RAG 的 AI 应用程序变得更加容易。我从这一切中学到的是，模型了解您在计算机上做什么的上下文是多么重要，以便让它们按照您想要的方式工作。在早期阶段有微调，但那太麻烦了，之后有了工具调用，使 AI 能够访问您使用的软件，但仍然不够自主，需要微管理。接着 MCP 出现，但它感觉太静态，非技术用户难以构建和使用 MCP。然后我们有了技能。最近，我们看到了 Karpethy 的 LLM 维护维基、Garry 的 GBrain 等，其中代理逐步维护一组持久的 Markdown 页面。新的来源更新实体页面，加强或否定现有主张，随着时间的推移改善综合。我喜欢这种模式，但它仍然以某人选择和导入来源开始。AI 仍然无法了解您和您的公司每天在各个应用程序中的活动，而不仅仅是在应用程序内部。当然，并不是每个人都想要这样的功能。但我想要！我希望 AI 知道我在做什么，并且再也不会失去记忆，我希望它使用人类使用的相同软件，而无需痛苦的上下文切换。我在 2024 年开始为自己构建 Screenpipe - 一个 CLI，用于录制您的屏幕并将这些上下文插入 AI。一个 HN 用户在 2024 年发布了它（https://news.ycombinator.com/item?id=41695840），该讨论影响了产品。最有用的批评涉及录音同意、本地安全性、CPU 使用、信噪比，以及代理是否可以在数据上操作。最初的实现是不断录制视频，并对每一帧运行 OCR。但这会产生重复数据，消耗大量资源（它基本上会把您的计算机变成一个取暖器！），并丢弃操作系统已知的结构。Screenpipe 现在改为监听应用切换、点击、输入暂停、滚动和空闲回退等事件。当某些有意义的事情发生时，它会在同一时间戳配对屏幕截图与操作系统的可访问性树。当结构化的可访问性数据不可用时，会使用 OCR。我还会持续捕获音频，识别说话者并通过 Parakeet/Whisper 或使用云模型进行本地转录。所有内容都在本地 SQLite 数据库、mp4 文件和有时的 md 文件中进行索引。一个友好的 AI API 在 3030 端口对代理开放，配有认证、MCP 和技能。一旦 Screenpipe 运行了一段时间，您可以通过我们内置的聊天、Claude、ChatGPT、Hermes、Openclaw 或任何代理来做一些事情，例如：- 为您当前的聊天添加上下文，例如“收集关于任务 X 的所有上下文”，这样就需要更少的提示来达到您的目标 - 检索信息，例如“检索我从上午 8 点到下午 4 点的工作任务，列出完成的和剩下的任务” - 为您的代理创建并维护一个个人维基/第二大脑：“每小时整理我在项目、人员、任务、会议中做的所有事情，将其作为 Markdown 文件和文件夹存储在我的 Obsidian 保险库中” - 创建自动化：每当我访问某人的 LinkedIn 资料时，更新我的 CRM - 寻找自动化机会：查看我团队本周所做的所有事情，并将其转化为自动化机会列表。Screenpipe 数据存储在本地，但我们也提供企业计划，以发现自动化机会，为此公司决定数据存储的位置。我们构建了自己的 AI PII 模型来消除敏感信息，它在 Apple MLX 或 Windows DirectML 上本地运行，我们还支持低端设备的云保密推理，尽管我们的本地模型旨在使用 <1% 的 CPU 和 <400 MB 的 RAM。用户可以设置应用程序、窗口和 URL 进行过滤，此外还有浏览器隐私模式。我们还支持录制计划和其他隐私功能。我们的代码库大部分是用