返回

文章详情

在越狱的PS5上运行Llama.cpp:在控制台上本地运行任何GGUF模型

Hacker News2026年10月16日 18:32

您的PS5运行语言模型。网络上的每个设备都可以使用它。控制台的GPU上运行的llama.cpp,配备OpenAI和Anthropic API,以及为电视设计的屏幕。获取应用程序 · 网站 · 开始使用 · 问题新:由Ollaya支持的决策模型。PS5LM现在在GPU上运行类似Jev的决策模型(d1、Clef、OpenJev等),并回答与Ollaya相同的/v1/systemone API:以校准的概率进行输入决策,响应在毫秒内产生。PS5LM适合任何想在家中拥有私有模型服务器的越狱PS5用户。它将GGUF模型加载到控制台的GPU上,并为您的笔记本电脑、手机和编码工具提供服务。运行时无需PC,无需云,无需账户。Qwen 3.5 9B正在从PS5 Slim上的笔记本电脑请求。点击观看视频。电视上的主页、模型、控制台、API和设置。电视下的模型服务器运行在GPU上。控制台RDNA 2 GPU上llama.cpp的Vulkan后端,11.4 GB的共享内存用于模型及其上下文。llama.cpp知道的每种架构和量化方式都能适用。它回答您的网络请求。OpenAI的/v1/chat/completions,Anthropic的/v1/messages(Claude Code能对其产生影响)以及任何浏览器中的聊天页面。将客户端指向http://<console>:8081并使用任何模型名称:加载的模型将会回应。它也能做出决策。加载决策模型并且控制台回答TypeSafe的/v1/systemone:关于文本和图像的选择、分数和是或否问题,这是Ollaya在PC上提供的API。它展示其工作的过程。每个请求以聊天的形式在电视上流式传输:哪个设备请求,询问的内容,以及正在撰写的回复。Square发送演示,Triangle打开键盘,因此可以从沙发上尝试控制台。它监控控制台。控制台页面绘制过去两分钟或过去一小时的温度、电量、GPU和CPU负载,以及每个读数的表格。它选择适合的内容。规划程序读取每个GGUF并为其分配最长的上下文和最佳的缓存以适应剩余内存。建议列表持有在控制台上测试过的模型,应用程序能够自主从Hugging Face下载到内部存储、M.2驱动器或USB驱动器。它可以读取图像。带有图像投影仪的模型(Gemma 4、MiniCPM-V、d1)在聊天和决策中拍照。模型大小在PS5 Slim上Qwen 3.5 0.8B、Q4_K_M 0.5 GB每秒207个tokens;Qwen 3.5 9B、Q4_K_M 5.3 GB每秒55个tokens;Qwen 3.8 27B、UD-Q2_K_XL 9.2 GB约每秒20个tokens,64k上下文;d1 Omni 600M,一个决策模型1.1 GB每0.3秒回答3个问题;720p图像和7个问题在2.9秒内。由Ollaya支持的决策模型Ollaya在PC上按Ollama运行语言模型的方式运行开放决策模型。PS5LM将相同的理念带入控制台:决策模型读取状态并在一次前向传递中回答输入问题,无需生成文本。curl http://<console>:8081/v1/systemone -H 'Content-Type: application/json' -d '{ "state": "我这个月被收费两次。退款或者我取消。", "questions": { "intent": {"type": "choice", "instructions": "顾客想要什么?", "criteria": {"refund": null, "information": null, "cancel": null}}, "angry": {"type": "noul", "instructions": "顾客生气吗?"}} } ' 建议列表中包含d1 Omni 600M、d1 3B和Clef Flash。任何携带llama.cpp决策元数据的GGUF以相同方式加载,应用程序将其标记为决策模型。尝试一下您需要一台固件为7.00至13.60的PS5,越狱,加载以下payloads:Payload for kstuff-lite内核补丁homebrew运行所需etaHEN homebrew支持所需ShadowMountPlus将PS5LM放在主屏幕上的/data/homebrew所需elfldr(端口9021)温度、电量和真实剩余空间,通过ps5-exporter推荐ftpsrv(端口2121)安装应用程序,从PC复制模型推荐下载ps5lm-app-vX.Y.Z.zip并进行解压。通过FTP将PPSA99575文件夹复制到/data/homebrew。ShadowMountPlus将PS5LM添加到主屏幕。打开PS5LM,转到“模型”>“建议”并获取模型。或者将.ggguf文件复制到/data/PS5LM/models,或在USB驱动器上复制到PS5LM/models。加载它。当主屏幕显示Ready时,在浏览器中打开http://<console>:8081,或将您的OpenAI或Anthropic客户端指向它。要更新,请将新文件夹覆盖旧文件夹。设置、模型和下载保留在/data/PS5LM。通过编码工具(opencode、Codex、Claude Code)使用的说明在docs/CLI.md中。按键功能表 L1 / R1 返回主页面、模型、API、控制台、设置主页 Cross 更换模型主页 Square / Triangle 发送演示请求 / 输入消息 模型 D-pad、Cross 选择一个部分和模型;加载、卸载或下载它们 模型、搜索 L2 / R2、Square 更改搜索;检查文件是否适合模型、下载 Cross、Square 暂停或恢复;取消(按两次)或清除控制台 L2 / R2 最近的两分钟 / 最近一小时设置 D-pad、Cross 选择一个类别和一行;翻转它,或在其列表中选择设置,诊断 Square、Triangle 应用程序或服务器日志;错误

赞助内容

NordVPN Next-gen Antivirus

本站免费、广告极少。如果觉得有帮助,可以请我们喝杯咖啡 —— 任何金额都对持续运营有实际帮助。

☕请我喝杯咖啡