准备工作
按照 Xinference 使用指南中的说明设置 Xinference，并运行llama-2-chat 模型。
配置
- API 地址（API Host）：
http://127.0.0.1:9997 - API 密钥（API Key）：任意字符串
- 模型（Model）：
llama-3-chat
故障排查
- 仅支持名称中包含
chat的模型。
自定义聊天机器人
Xinference
Xorbits Inference（Xinference）是一个开源项目，可以在你自己的设备上运行语言模型。你可以用它在本地部署 Llama-3 等开源大语言模型服务。