将其与本地编码代理配对。运行 llama serve，安装 pi-llama 插件并启动 Pi。它将自动发现您的本地模型。无需配置，无需 API 密钥。文件保留在您的机器上，请求永远不会离开。# 1. 提供模型 llama serve # 2. 安装 pi-llama 插件 pi install git:github.com/huggingface/pi-llama # 3. 运行 Pi，一切已设置好 pi 为任何硬件优化。从您的笔记本电脑到集群，llama.cpp 可以在您拥有的任何设备上运行。相同的二进制文件，相同的模型，为每个 GPU 和 CPU 提供相同的手工调整内核。Apple Silicon M Ultra RTX 5090 CPU Jetson H100 MI300 RTX 4090 A100 M Pro M Max DGX Spark T4 Radeon RX B200 Intel Arc RTX 3090