返回

文章详情

展示HN:OpenCode Senses, 一个疯狂快速且高度准确的视觉插件

Hacker News2026年8月13日 18:13

文本专用OpenCode模型的视觉 — 完全本地、私密、免费,并对此感到有些得意。Senses为OpenCode添加了视觉层,因此任何图像都可以对你的文本专用编码模型变得有用:截图获得准确的OCR,物体定位,颜色测量,一切以结构化证据的形式返回,模型可以进行推理。没有API密钥。没有隐藏成本。没有你的桌面图片离开机器 — 我们保证,侦察兵的荣誉,我们检查了源代码。文本模型进行推理。Senses感知、定位、验证并获取零食。目录 ✨ 特性 ⚙️ 工作原理 🧰 要求 📦 安装 🚀 快速入门 ✍️ 用法 🔧 工具 🔁 工作流程 🎛️ 配置 🔒 隐私 🩹 故障排除 🛠️ 开发 更多 📜 许可证 开源依靠捐赠而非气氛维持生命。每杯咖啡都为下一个视觉特性提供资金。特性 仅适用于文本模型的视觉 — 附加任何图像,模型就能看到:结构化场景读取、说明以及精确OCR会在模型响应之前自动注入到你的消息中。13种基础工具 — 检查、OCR、检测、指点、分割、裁剪、缩放、颜色、差异、注释、元数据、反向搜索、状态。所有返回的都是经过规范化的、源基础的证据,正如视觉之神所意图的那样。网页图像支持无处不在 — 任何工具接受https:// URL作为路径;图像按原样下载(原始类型和字节保留)并缓存到本地。恢复级别分析 — senses_zoom放大区域并重新读取模型在全图比例下错过的小文本;senses_colors提供确定性像素基础真相,模型甚至连幻想也无法做到,即使它想要。无API密钥的反向图像搜索 — 在你的本地文件中进行感知哈希搜索,外加Yandex上传搜索(Google Lens可选,其威严命令它)。提示注入加固 — 模型从图像读取的所有内容都包装在显式的不受信任数据保护下。一个尖叫着 “忽略之前指示”的截图被视为证据,而不是职业举动。零安装运行时 — 在第一次使用时自动配置其自己的Python venv + Moondream权重。它甚至会打理自己的房间。永久免费 — Moondream 2可在你自己的GPU上运行。6 GB VRAM就足够了;那大约是一个好三明治的大小,它不会与人分享。工作原理 %%{init: {"theme": "base", "themeVariables": {"fontFamily": "'JetBrains Mono', 'Fira Code', 'Cascadia Mono', Menlo, Consolas, monospace", "fontSize": "13px", "primaryColor": "#111111", "primaryTextColor": "#ffffff", "primaryBorderColor": "#333333", "lineColor": "#6b6b6b", "textColor": "#e5e5e5", "edgeLabelBackground": "#111111", "clusterBkg": "#111111", "clusterBorder": "#333333"}}}%% 流程图 LR A["OpenCode<br/>(仅限文本模型)"] B["OpenCode Senses 插件<br/>(TypeScript, 会话中)"] C["Python运行时<br/>(python/runtime.py)"] D["结构化证据<br/>(OCR、布局、边界框、颜色)"] A -->|"附加图像"| B B -->|"自动注入证据"| A B <-->|"stdio JSON-RPC"| C C -->|"通过Photon/kestrel的Moondream 2<br/>(本地GPU推理)"| D D -.->|"senses_*工具 &mdash; 检查、ocr、检测、指点、分割,<br/>裁剪、缩放、颜色、差异、注释、元数据、反向、状态"| B classDef opencode fill:#3f3f46,stroke:#52525b,stroke-width:2px,color:#ffffff classDef plugin fill:#ef4444,stroke:#7f1d1d,stroke-width:2px,color:#ffffff classDef runtime fill:#3b82f6,stroke:#1e40af,stroke-width:2px,color:#ffffff classDef evidence fill:#22c55e,stroke:#14532d,stroke-width:2px,color:#ffffff class A opencode class B plugin class C runtime class D evidence 加载 插件(TypeScript,在OpenCode会话中运行)生成Python运行时,暴露senses_*工具,并在图像附加的瞬间自动检查。它是准时的,因为它尊重你。运行时(python/runtime.py)是一个基于stdio的逐行JSON-RPC服务器。它拥有模型生命周期:懒加载、热缓存、明确卸载。它知道什么时候该结束一天。视觉模型:默认是Moondream 2 — 适合6 GB GPU(峰值约4.5 GB)。Moondream 3.1(9B)支持更大的显卡;启用前请检查你的钱包。要求 操作系统:Linux x86_64/aarch64、Windows AMD64或macOS。 GPU:一块NVIDIA GPU(Ampere或更新)或苹果硅(M系列)。 对于默认模型来说,6 GB VRAM就足够了。Python 3.10–3.14 — 或uv,Senses用来自动引导所有内容(包括托管的Python)。macOS/Windows提供自己的运行时支持。仅在从源代码构建时需要Bun — npm用户不需要它。没有API密钥。没有。永远没有。(唯一的例外是可选的微调,以及通往你心灵的单一密钥,这不是设置所需的。)安装 从npm安装(最简单) 在你运行OpenCode的地方安装软件包 — 全球或在你的项目中:npm install -g opencode-senses 或在你的项目中添加:npm install opencode-senses 在OpenCode的配置中启用插件。打开你的项目中的opencode.jsonc(或你的全局OpenCode配置),并添加: { "$schema" :

赞助内容

NordVPN Next-gen Antivirus

本站免费、广告极少。如果觉得有帮助,可以请我们喝杯咖啡 —— 任何金额都对持续运营有实际帮助。

请我喝杯咖啡