输入有关任何文本或JSON的提问，并在毫秒内获得校准的答案。私有、开源，运行在您自己的硬件上。下载 浏览模型 ollaya run laya --preset triage "这个月我被收取了两次费用，想要退款。" 模型返回的答案 问题 答案 概率 意图 退款 1.00 紧急性 no 0.87 挫败感 1.59 / 3 明显恼怒 0.36 退款请求 yes 0.88 用户流失风险 no 0.89 实际输出：路由到 laya:en，在 RTX 4090 上回答耗时 8.9 毫秒。快速决策，毫秒级响应。决策模型在单次前向传播中给出答案，而不需要逐个生成令牌。在您自己的GPU上，向Laya发出的五个问题请求大约需要10毫秒，通过HTTP API端到端。每个模型，统一标准 · 中位延迟，越低越好 laya:多语言 8.1 ms laya:en 9.6 ms gliclass 14.7 ms nli 20.4 ms decider:0.8b 155 ms decider:2b 190 ms TypeSafe Jev托管API236–276 ms Ollaya:通过HTTP API在NVIDIA RTX 4090（laya使用fp16，其他使用fp32）上进行五个问题请求的中位数。Jev: 第三方基准中的托管API请求延迟中位数（AbdelStark/jev-benchmarks，nibzard/decision-model-benchmark），包括网络。设置不同，因此请将其视为一个数量级的比较。即插即用兼容性 兼容TypeSafe的API。Ollaya提供/v1/systemone和/v1/models，并具有TypeSafe的请求和响应格式。官方的TypeSafe Python SDK 0.7.1对本地服务器保持不变。请求# 将TypeSafe SDK指向Ollaya export TYPESAFE_BASE_URL = http://localhost:11435 export TYPESAFE_API_KEY = local # 任何值均可 export TYPESAFE_DEFAULT_MODEL = laya # …或直接调用兼容的端点 curl http://localhost:11435/v1/systemone -d ' { "model" : "laya" , "state" : "我可以要上个月的发票吗？" , "questions" : { "intent" : { "type" : "choice" , "instructions" : "客户想要什么？" , "criteria" : { "invoice" : "需要发票或收据" , "refund" : "想要退款" , "other" : "其他情况" } } } } ' 响应 { "model" : "laya:en" , "answers" : { "intent" : { "type" : "choice" , "choice" : "invoice" , "confidence" : 0.9547 , "probabilities" : { "invoice" : 0.9698 , "refund" : 0.0172 , "other" : 0.013 } } } , "usage" : { "input_tokens" : 43 , "output_tokens" : 0 } } TypeSafe兼容性指南 开放模型 开放权重，随时提取。从Convai Innovations开始Laya：一个英语模型，一个100多个语言的模型，一个为文本决策微调的模型，以及一个为您选择的路由器。您的数据仍然属于您 默认是私有的。票证、电子邮件和用户消息通常是您最敏感的数据。有了Ollaya，它们将在您已经存储的地方进行评分。平台 在您工作的地方运行。适用于macOS、Windows和Linux的桌面应用程序和命令行，以及用于服务器的Docker映像。每个模型都可以在CPU上运行；在Linux上使用NVIDIA GPU，在WSL 2或Docker中请求的时间可缩短到毫秒。平台 桌面应用 Command line GPU macOS Apple silicon 桌面应用 菜单栏应用 .dmg 命令行 安装脚本 GPU 仅CPU Windows 10和11, x64 桌面应用 桌面应用 .exe或.msi 命令行 PowerShell脚本 GPU 仅CPU NVIDIA通过WSL 2 Linux x86-64 桌面应用 桌面应用 AppImage, .deb, .rpm 命令行 安装脚本 systemd服务 GPU NVIDIA, CUDA 13 Linux ARM64 桌面应用 不可用 命令行 安装脚本 systemd服务 GPU 仅CPU WSL 2 Linux on Windows 桌面应用 不可用 命令行 安装脚本 同Linux GPU NVIDIA, CUDA 13 Docker amd64和arm64 桌面应用 不可用 命令行 GHCR中的镜像 GPU NVIDIA, CUDA 13 :cuda映像, amd64 为您的平台安装 NVIDIA GPU需要R580或更高版本的驱动程序；安装程序仅在找到驱动程序时下载CUDA库。在Apple、AMD和Intel GPU上，模型在CPU上运行。几分钟内启动并运行。一个二进制文件，一个命令： ollaya run laya . 下载 macOS、Windows、Linux和Docker · Apache-2.0 · GitHub