> ## Documentation Index
> Fetch the complete documentation index at: https://doc.chathub.gg/llms.txt
> Use this file to discover all available pages before exploring further.

# Xinference

Xorbits Inference（Xinference）是一个开源项目，可以在你自己的设备上运行语言模型。你可以用它在本地部署 Llama-3 等开源大语言模型服务。

## 准备工作

按照 [Xinference 使用指南](https://inference.readthedocs.io/en/latest/getting_started/using_xinference.html)中的说明设置 Xinference，并运行 `llama-2-chat` 模型。

## 配置

<img src="https://mintcdn.com/chathub-5dac209e/ozs4YL2c0N1LB4gO/images/custom-bots/xinference.png?fit=max&auto=format&n=ozs4YL2c0N1LB4gO&q=85&s=596f81958ad2134e953193ae2a19552a" alt="" width="1302" height="1060" data-path="images/custom-bots/xinference.png" />

* **API 地址（API Host）**：`http://127.0.0.1:9997`
* **API 密钥（API Key）**：任意字符串
* **模型（Model）**：`llama-3-chat`

你可以在 [Xinference 模型列表](https://inference.readthedocs.io/en/latest/models/builtin/llm/index.html)查看所有可用模型。

## 故障排查

* 仅支持名称中包含 `chat` 的模型。