第09章:企业级大模型的部署
1、为什么需要企业级大模型的部署
1.1 整体部署方案
企业在使用大模型的过程中,首要保证的就是数据的安全。那要想数据安全,就需要实现私有化的部署。这里包括大语言模型、嵌入模型、重排序模型以及多模态模型等。
这里是咱们这套课程的整体部署方案。主服务器中安装Docker,部署Dify,对外统一提供大模型服务。比如:RAG、智能体Agent。同时,咱们也会结合不同的模型服务平台来满足多样化的需求,这里我们在GPU服务器A和B中,分别部署Ollama和Xinference,以便展示Dify管理多个外部模型服务的能力。进而再独立的部署大语言模型以及嵌入模型、重排序模型。
最后在Dify中调用前面配置好的大模型即可。

这里是我们配置或部署的三条主线。整体课程也是顺着这条主线展开:

1.2 问题答疑
针对上图,这里有几个问题。
问题1:这个项目中只把Dify安装在了Docker中。Ollama、Xinference直接部署在GPU服务器,没有在Docker中。为什么?
首先说,Ollama、Xinference是可以部署到Docker中的。但是Ollama、Xinference中模型使用,需要消耗大量GPU,而Docker中默认是使用CPU,不能使用GPU。所以:
方案1:Ollama、Xinference不安装在Docker中
方案2:Ollama、Xinference安装Docker中,但是需要额外安装其他的软件,支持GPU的调用。
这里使用方案1,只将Dify安装到docker中,Ollama和Xinference不安装到docker中。
问题2:为什么不在Ollama平台安装嵌入模型(Embedding Models)和重排序模型(ReRank Models)?
Ollama专注于简化大语言模型(LLM)的本地部署和管理。对嵌入模型(Embedding Models)和重排序模型(ReRank Models)的直接支持相对有限,可用的模型也较少(比如嵌入模型)有的甚至直接没有(比如重排序模型)。所以会选择XInference。
问题3:Xinference不了解,简单介绍一下?
Xinference是一个功能更全面的模型服务框架,它不仅支持部署和管理大语言模型,还对嵌入模型和重排序模型提供了广泛且灵活的支持。
问题4:为何考虑多服务器部署?
虽然将Ollama、Xinference与Dify部署在同一台服务器上是可行的,但采用分离部署(即将Ollama和Xinference分别部署在独立的服务器上)通常能带来以下好处:
好处1:分散计算压力,优化资源利用:大语言模型及相关AI模型的运算(尤其是推理过程)对GPU等计算资源消耗较大。所以把不同的模型服务部署在不同的服务器上,可以将计算负载分摊开,当特定模型被调用时,其计算压力将主要集中在承载该模型的服务器上,避免单一服务器遇到资源瓶颈。确保整体的稳定高效运行。好处2:提高可扩展性和灵活性:随着Dify平台上接管的应用增多或特定模型调用频率增加,可能需要独立扩展某个模型服务(如增加更多GPU资源给Xinference服务器)。多服务器架构为此类精细化的资源扩展提供了便利。好处3:演示Dify的分布式模型管理能力:此架构清晰地演示了Dify平台如何有效地管理部署在不同服务器上的Ollama和Xinference所提供的模型服务,有助于构建复杂的、分布式的AI应用。
2、企业级大模型的应用场景(复习)
场景1:基于RAG架构的开发
背景:
- 大模型的知识冻结
- 大模型幻觉
随着 LLM 规模扩大,训练成本与周期相应增加。因此,包含最新信息的数据难以融入模型训练过程,无法及时反映最新的信息或动态变化。导致 LLM 在应对诸如“请推荐当前热门影片”等时间敏感性问题。
举例:
LLM在考试的时候面对陌生的领域,答复能力有限,然后就准备放飞自我了,而此时RAG给了一些提示和思路,让LLM懂了开始往这个提示的方向做,最终考试的正确率从60%到了90%!

何为RAG?
Retrieval-Augmented Generation(检索增强生成)

检索-增强-生成过程:检索可以理解为第10步,增强理解为第13步(这里的提示词包含检索到的数据),生成理解为第15步。

这里有三个位置涉及到大模型的使用:
- 第3步向量化时,需要使用EmbeddingModels。
- 第7步重排序时,需要使用RerankModels。可对初步召回的较多 chunk(如 top 20 或 top 50)进行精排,提高召回准确率,防止LLM 处理无关信息,减少时间和成本。
- 第9步生成答案时,需要使用LLM。
Reranker的使用场景:
- 适合:追求回答高精度和高相关性的场景中特别适合使用 Reranker,例如专业知识库或者客服系统等应用。
- 不适合:Reranker相较于RAG的成本更高。此外,引入reranker会增加召回时间,增加检索延迟。服务对响应时间要求高时,使用reranker可能不合适。
场景2:基于Agent架构的开发
充分利用 LLM 的推理决策能力,通过增加规划、记忆和工具调用的能力,构造一个能够独立思考、逐步完成给定目标的智能体。
OpenAI的元老翁丽莲于2023年6月在个人博客首次提出了现代AI Agent架构。

一个数学公式来表示:
Agent = LLM + Memory + Tools + Planning + Action
智能体核心要素被细化为以下模块:
1、大模型(LLM)作为“大脑”:提供推理、规划和知识理解能力,是AI Agent的决策中枢。
大脑主要由一个大型语言模型 LLM 组成,承担着信息处理和决策等功能, 并可以呈现推理和规划的过程,能很好地应对未知任务。
2、记忆(Memory)
智能体像人类一样,能留存学到的知识以及交互习惯等,这样的机制能让智能体在处理重复工作时调用以前的经验,从而避免用户进行大量重复交互。
-
短期记忆:存储单次对话周期的上下文信息,属于临时信息存储机制。受限于模型的上下文窗口长度。

-
长期记忆:可以横跨多个任务或时间周期,可存储并调用核心知识,非即时任务。
- 长期记忆,可以通过模型参数微调(固化知识)、**知识图谱(结构化语义网络)或向量数据库(相似性检索)**方式实现。
以人作类比:
- 短期记忆:在进行心算时临时记住几个数字
- 长期记忆:学会骑自行车后,多年后再次骑起来时仍能掌握这项技能
3、工具使用(Tool Use):调用外部工具(如API、数据库)扩展能力边界。

4、规划决策(Planning):通过任务分解、反思与自省框架实现复杂任务处理。例如,利用思维链(Chain of Thought)将目标拆解为子任务,并通过反馈优化策略。


5、行动(Action):实际执行决策的模块,涵盖软件接口操作(如自动订票)和物理交互(如机器人执行搬运)。比如:检索、推理、编程等。
智能体会形成完整的计划流程。例如先读取以前工作的经验和记忆,之后规划子目标并使用相应工具去处理问题,最后输出给用户并完成反思。
3、主线1:Dify平台私有化部署
3.1 Dify平台的介绍(复习)
Dify 作为一个综合性的 LLM 应用开发平台,内置了构建现代生成式 AI 应用所需的几乎所有关键技术栈。
它的具体功能如下:
- 基于Agent架构构建智能体应用
- 基于RAG构建私有知识库应用
- 基于Workflow构建智能工作流应用
Dify 是当今最优雅、门槛最低、最受欢迎、效果最好的大模型开发平台之一。
无论是经验丰富的程序员还是初涉AI领域的团队(如产品经理、运营人员),都能够快速、高效地搭建并运营生产级别的生成式 AI 应用。
官网:https://dify.ai/zh
文档说明:https://github.com/langgenius/dify/blob/main/README_CN.md
说明:访问Dify官网需要魔法(或梯子、科学上网)
3.2 租赁Dify服务器:腾讯云
企业用户可以选择租用云服务器,或者在本地的服务器中部署Dify。因为Dify所需的资源很小,一个轻量级的服务器足以支持运行。
我们需要租赁一个云服务器去运行Dify服务:腾讯云。
官网:https://cloud.tencent.com/
① 基础配置
https://buy.cloud.tencent.com/cvm
如果是企业中使用或者个人资金充裕且业务稳定的话,可以选择长租使用。期望优惠的话,可以选择竞价实例。竞价实例,在性能和稳定性上,与按量计费模式没有差别。
竞价实例,只要有人租长期的服务器就有可能把你的服务器踢掉,实例被竞价释放也是有解决办法的,后续会去讲。

地域选择:没有要求,自己根据需要选即可。
实例配置:根据自己需求选择,无具体要求。这里我选择4核8GB。

镜像:选择CentOS、Ubuntu都可以,这里使用了Ubuntu。选择后点击下一步。


② 设置网络和主机
拉满带宽上限,新建安全组,把常用的端口都开启

命名实例,设置密码,进行下一步

开通

③ 登录(使用Xshell或finalshell或windTerm)

创建好了,通过这个公网IP,端口使用22,账号ubuntu,密码使用你设置的密码。使用你的远程连接工具XShell 或 final shell 连接即可。
XShell界面如下:

3.3 部署Docker
部署dify平台,需要基于docker环境,而腾讯云新建的云平台上默认是没有docker的。接着,需要在腾讯云租用的服务器中部署Docker。
什么是Docker?
Docker是一种容器化技术,相较于传统的通过虚拟机技术实现的虚拟化方案来说,Docker是⼀种更加轻量级的虚拟化解决方案。
**它可以将应用程序及其依赖项打包成一个独立的容器,并在不同的环境中运行。**通过Docker容器, 开发者可以轻松地构建、部署和运行应用程序,而无需担心环境配置和依赖问题。
按照下面的指令一步一步进行操作
#更新软件包
sudo apt update
sudo apt upgrade
#安装docker依赖
sudo apt install software-properties-common
sudo apt-get install ca-certificates curl gnupg lsb-releasesudo
sudo apt-get install ca-certificates curl gnupg lsb-release
#添加Docker官方GPG密钥
curl -fsSL http://mirrors.aliyun.com/docker-ce/linux/ubuntu/gpg | sudo apt-key add -
#添加Docker软件源(输入后根据提示按Enter)
sudo add-apt-repository "deb [arch=amd64] http://mirrors.aliyun.com/docker-ce/linux/ubuntu $(lsb_release -cs) stable"
#安装docker(输入后根据提示输入 y )
sudo apt-get install docker-ce docker-ce-cli containerd.io --fix-missing
执行sudo apt upgrade的时候会出现这个界面,按回车即可

之后如果在这个界面卡住,按几下回车即可

安装完毕,启动docker,并查看状态
sudo systemctl start docker sudo systemctl status docker
如图所示即为启动成功

看到running状态说明docker已经正常启动
注意:安装过程中如果报错如下:

可以按如下操作步骤执行:
| 步骤 | 关键检查点/操作 | 预期结果/说明 |
|---|---|---|
| 1. 验证Docker安装状态 | 运行 sudo systemctl status docker | 确认Docker服务当前的状态和错误日志。 |
| 2. 检查并取消服务屏蔽 | 执行 sudo systemctl unmask docker.service | 解决服务被意外“屏蔽”导致无法启动的问题。 |
| 3. 检查依赖服务状态 | 运行 systemctl list-dependencies docker.service. 如果containerd服务异常,尝试启动它:sudo systemctl start containerd |
查看Docker依赖的服务(如containerd)是否正常。 如果启动失败,进入第4步 |
| 4. 修复containerd(关键步骤) | 执行:① sudo apt-get update ② sudo apt-get install --reinstall containerd.io |
重新安装Docker的核心运行时依赖。 |
如果以上步骤均无效,可以考虑彻底清理Docker及其相关组件后重新安装。这是解决文件损坏或版本冲突的可靠方法。
彻底卸载Docker:
sudo apt-get purge docker-ce docker-ce-cli containerd.io
sudo rm -rf /var/lib/docker
sudo rm -rf /var/lib/containerd
3.4 部署Dify
官网:https://github.com/langgenius/dify
文档:https://docs.dify.ai/zh-hans/getting-started/install-self-hosted/docker-compose
安装 Dify 之前, 请确保你的机器已满足最低安装要求:
- CPU >= 2 Core
- RAM >= 4 GiB
① 下载
注意:新版本Dify本地部署可能会出现各种兼容问题,强烈推荐0.15.5版本,稳定,功能效果一致!
在/opt下创建一个dify目录,用于存储dify源码:
cd /opt
sudo mkdir dify #用于存储dify源码包
方式1:离线下载包(推荐)
离线下载源码包(科学上网)
下载地址:https://github.com/langgenius/dify/releases/tag/0.15.5

注意:网不好同学,已经提前下载好,放在课程资料中!
利用远程连接工具(比如:XFTP)将dify源码包传递到服务器 /opt/dify文件夹中,并解压即可:

上传可能失败(因为默认ubuntu用户权限不足),解决办法如下
# 方式1:赋予指定用户指定目录的完全权限(使用777)
# 在Ubuntu终端xshell执行:sudo chmod -R 777 /目标目录的完整路径
sudo chmod -R 777 /opt/dify
# 方式2:先将文件上传到您的用户主目录(如 /home/ubuntu),这个目录通常有写入权限
# 然后使用XShell或终端,通过命令移动文件:sudo mv /home/ubuntu/文件名 /目标/path/
进行解压:
#进入dify目录,在opt目录下执行:
cd ./dify
#解压
sudo tar -zxvf dify-0.15.5.tar.gz
cd /opt/dify/dify-0.15.5
pwd # 输出 /opt/dify/dify-0.15.5

方式2:Gitee下载
如果使用github下载过慢,还可以使用码云(Gitee)或镜像网站替代 GitHub 直接下载,利用国内服务器加速。
操作步骤:
1)注册码云账号(https://gitee.com )。
2)在码云新建仓库,选择「导入GitHub仓库」,粘贴 https://github.com/langgenius/dify.git 的链接 。
3)导入完成后,使用码云生成的仓库地址克隆:
sudo git clone https://gitee.com/你的用户名/dify.git
这里大家也可以直接使用我的链接:
sudo git clone https://gitee.com/shkstart/dify.git

② 使用docker启动Dify
-
进入 Dify 源代码的 Docker 目录:
cd /opt/dify/dify-0.15.5/docker -
复制环境配置文件
sudo cp .env.example .env -
启动 Docker 容器
根据你系统上的 Docker Compose 版本,选择合适的命令来启动容器。你可以通过
docker compose version命令检查版本,详细说明请参考 Docker 官方文档:-
如果版本是 Docker Compose V2,使用以下命令(课程对应版本):
sudo docker compose up -d -
如果版本是 Docker Compose V1,使用以下命令:
sudo docker-compose up -d
说明:Docker 会自动帮你:拉取需要的镜像 → 创建容器 → 按顺序启动所有服务 → 后台运行。
-
-
运行命令后,你应该会看到类似以下的输出,显示所有容器的状态和端口映射:
注意:第一次拉取镜像,时间可能会很!!!
[+] Running 11/11 ✔ Network docker_ssrf_proxy_network Created ✔ Network docker_default Created ✔ Container docker-redis-1 Started ✔ Container docker-ssrf_proxy-1 Started ✔ Container docker-sandbox-1 Started ✔ Container docker-web-1 Started ✔ Container docker-weaviate-1 Started ✔ Container docker-db-1 Started ✔ Container docker-api-1 Started ✔ Container docker-worker-1 Started ✔ Container docker-nginx-1 Started -
最后检查是否所有容器都正常运行:
sudo docker compose ps在这个输出中,你应该可以看到包括 3 个业务服务
api / worker / web,以及 6 个基础组件weaviate / db / redis / nginx / ssrf_proxy / sandbox。
-
停止Dify运行
#一键关停所有相关容器,干净不残留 docker compose down
- 同步环境变量配置(重要!)
-
如果
.env.example文件有更新,请务必同步修改你本地的.env文件。 -
检查
.env文件中的所有配置项,确保它们与你的实际运行环境相匹配。你可能需要将.env.example中的新变量添加到.env文件中,并更新已更改的任何值。
③ 常见问题解决
问题1:安装 Dify常见问题和解决方案
sudo docker compose up -d
执行失败,大概率会由于网络问题或镜像缺失问题发生报错。


进行镜像源的配置
sudo vi /etc/docker/daemon.json
添加下面的配置
{
"registry-mirrors": [
"https://docker.unsee.tech",
"https://dockerpull.org",
"https://docker.1panel.live",
"https://dockerhub.icu",
"https://docker.m.daocloud.io",
"https://docker.nju.edu.cn",
"https://registry.docker-cn.com",
"https://docker.mirrors.ustc.edu.cn",
"https://hub-mirror.c.163.com",
"https://mirror.baidubce.com",
"https://5tqw56kt.mirror.aliyuncs.com",
"https://docker.hpcloud.cloud",
"http://mirrors.ustc.edu.cn",
"https://docker.chenby.cn",
"https://docker.ckyl.me",
"http://mirror.azure.cn",
"https://hub.rat.dev"]
}
保存,然后在终端重新启动一下docker
# 重新登陆,需要输入密码
systemctl daemon-reload
systemctl restart docker
重新执行
sudo docker compose up -d
开始正常下载了

问题2:可能出现报错,报错如下

于是根据报错信息检查
sudo vi /etc/apparmor.d/tunables/home.d/ubuntu
删除掉报错信息中第七行的多余字符即可

重新运行,成功

④ 访问
你可以先前往管理员初始化页面设置设置管理员账户:
# 本地环境
http://localhost/install
# 服务器环境
http://your_server_ip/install

如图所示为成功访问,进行注册登陆即可

注意:如果一直无法加载进去,则需要重启docker再次尝试
④ 设置镜像
为避免案例中的竞价实例被释放,可以在控制台中的快照中设置快照策略,即使被释放了也能保存快照,从而快速恢复



再次进入定期快照策略可发现已设置成功
3.5 部署在线大模型
如果想调用线上的LLM,则可以用Dify选择线上的模型运营商。比如说可以在模型运营商中选择Deepseek

DeepSeek官网地址:https://www.deepseek.com/,在官网获取自己的API即可配置后使用

在这里我们可以使用提供的在线大模型运营商,但是为了考虑到可能存在的数据安全问题,所以我们自己部署Ollama和Xinference,进而部署私有的大模型。


4、主线2:大语言模型的部署
4.1 租赁GPU服务器:AutoDL
AutoDL介绍
这里我们选用AutoDL平台租赁服务器。这是一款面向开发者和企业的云计算平台,主要提供高性价比的GPU算力资源,支持AIGC、深度学习、云游戏、渲染测绘、元宇宙、HPC等应用。
**平台地址:**https://www.autodl.com/
AutoDL服务器的资源比较紧俏,且比较贵
- 一台机器开机一个小时平均花费2元
建议:一般早上开始工作的时候开机,在结束一天工作的时候关机。
① 配置服务器+镜像
选择服务器:
这里可以选择西北B区的单卡4090作为我们的服务器,我们需要租赁两台服务器,一台部署Ollama,另一台部署Xinference。
注意:在AutoDL平台上,只提供了6006端口进行开放。

选择镜像版本:

② XShell连接登录
复制该服务器的登录指令,通过远程连接工具进行登录


测试连接:
默认的用户名:root

连接成功
③ 克隆实例
在关机状态下,进行实例克隆,创建出一个副本。

设置一下备注名称

④ 开启学术资源加速
为下载一些外网的资源(比如Github、HuggingFace等),需要在当前终端中开启学术资源加速
免不了我们要在这个系统上安装一些软件。这些软件可能来自于如下的红框的位置。默认是下载不了的。那么就需要魔法或科学上网。这里我们称为:学术加速。
https://www.autodl.com/docs/network_turbo/

将框选住的一行复制到终端输入即可
source /etc/network_turbo

4.2 模型管理平台中部署Ollama
没有ollama之前,部署一个私有的大模型比较复杂。需要在主机上安装很多依赖的软件。但现在我们只需要安装Ollama,大模型相关的依赖,Ollama都提供好了。
Ollama介绍
当涉及到大语言模型(LLMs)的管理、部署和使用时,使用像 Ollama 、 XInference 和 LocalAI 这些模型管理工具可以显著提升模型的可管理性,提高工作效率。
Ollama是在Github上的一个开源项目,项目定位是:一个本地运行大模型的集成框架。通过将模型权重、配置文件和必要数据封装进由Modelfile定义的包中,从而实现大模型的下载、启动和本地运行的自动化部署及推理流程。
Ollama官方地址:https://ollama.com
Ollama Github开源地址:https://github.com/ollama/ollama
Ollama项目支持跨平台部署,目前已兼容Mac、Linux和Windows操作系统。无论使用哪个操作系统,Ollama项目的安装过程都设计得非常简单。
① Ollama的部署(下载-启动)
使用连接工具打开我们用于部署AutoDL上的GPU服务器 Ollama
启动学术加速
source /etc/network_turbo
创建如下的目录
sudo mkdir ./data
sudo mkdir ./data/dify
来到Linux如下目录
cd /data/dify/ #没有此目录,可以先创建。 sudo mkdir ./data 等
执行命令
curl -fsSL https://ollama.com/install.sh | sh
上述指令来自于:

下载完毕

启动Ollama服务
# (云服务器部署需允许外部访问,127.0.0.1 仅本地可访问)
OLLAMA_HOST=0.0.0.0:6006 ollama serve
② Ollama中下载大模型
地址:https://ollama.com/library 查看可以部署哪些模型
举例:接入Qwen3:4b开源模型

复制该指令

再开启一个终端,执行运行命令。会从网络下载该模型:
source /etc/network_turbo #先启动学术加速
OLLAMA_HOST=127.0.0.1:6006 ollama run qwen3:4b
#如果下载过慢,大家也可以下载较小的模型,比如:
OLLAMA_HOST=127.0.0.1:6006 ollama run qwen2.5:1.5b
OLLAMA_HOST=127.0.0.1:6006 ollama run qwen2.5:0.5b
安装成功后可以通过提问检验是否成功

然后使用 Ctrl+d 退出该对话。
**注意:**如果网络问题 ollama run qwen2.5:1.5b 拉取失败,我们可以选择离线替换ollama模型包
1、将准备好的离线模型文件上传到服务器ollama默认的模型存储文件夹
上传的文件:

上传的位置: ollama会在 ~/.ollama/models文件夹存储模型,传入此文件夹即可

或者:使用WindTerm如下

查看大模型的安装情况:
OLLAMA_HOST=127.0.0.1:6006 ollama list
③ Dify中接入Ollama中的大语言模型
在网页Dify页面进行操作:
设置-模型供应商-安装ollama服务


配置Ollama服务的模型

模型名称填写刚刚下载的qwen3:4b
URL中IP地址使用Dify服务器的内网IP即可,端口号使用6006。点击保存



注:当显示添加成功后,但是没有模型的话,说明还未加载成功,并不是配置失败。需要等待一段时间即可刷新出来。配置失败是不会显示配置成功的。
如图添加完毕

可以用相同的方法添加更多模型,比如这里可以在Ollama中下载一个qwen2.5:7b,用相同的方法接入到Dify中

5、主线3:嵌入&重排序模型的部署
5.1 模型管理平台中部署XInference
XInference介绍
XInference 是⼀个强大且通用的分布式推理框架,也可以用于私有化部署和运行大语言模型,通过 XInference 可以简化各种AI模型的运行和集成,使开发者可以使用任何开源大语言模型、推理模型、多模态模型在云端或本地环境中运行、推理,创建强大的AI应用。
① XShell登录服务器
地址参考如下:

粘贴到XShell中进行登录:

用户名默认为root:

密码:

登录成功:

② XInference的部署(下载)
开启学术加速
source /etc/network_turbo
依次输入如下指令,开始安装Xinference
注意:最新版本会有一些依赖上的冲突,所以下载如下这个版本
python -m pip install --upgrade pip
pip install 'xinference==1.13.0'
#安装torch
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple torch
#升级PyTorch
pip install --upgrade torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
#启动服务
xinference-local --host 0.0.0.0 --port 6006

5.2 XInference中下载大模型
方式1:离线下载(推荐)
后续上传嵌入模型和重排序模型时,可能跟当前的XInference版本出现兼容性问题报错,原因是 pip 默认安装的 xoscar v7.0+ 版本api与 xinference 不兼容,降级到xoscar v0.6.2 后可以正常启动。
① 指定xoscar版本:
pip install xoscar==0.6.2
#同时安装一些重要的依赖
pip install sentence-transformers
pip install sentencepiece transformers torch
之后重启Xinference服务,即可正常下载
#启动服务
xinference-local --host 0.0.0.0 --port 6006
②下载嵌入模型
注意:需要科学上网(已经下载好放在资料文件夹)
huggingface平台下载:(还可以从ModelScope平台下载)
bge-large-zh-v.15地址:https://huggingface.co/BAAI/bge-large-en-v1.5/tree/main
点击下载:

③ 上传到xinference服务器模型缓存文件夹
xinference默认缓存模型缓存文件夹位置: ~/.xinference/cache/bge-large-zh-v1.5
1)创建对应的文件目录
root@autodl-container-df3e4fb7df-427d8493:~# sudo mkdir .xinference
root@autodl-container-df3e4fb7df-427d8493:~# cd ./.xinference/
root@autodl-container-df3e4fb7df-427d8493:~/.xinference# sudo mkdir cache
root@autodl-container-df3e4fb7df-427d8493:~/.xinference# cd cache
2)上传bge-large-zh-v1.5

3)给与文件夹全部文件权限:(避免权限问题加载失败)
sudo chmod -R 777 /root/.xinference/cache/bge-large-zh-v1.5
④ 使用xinference加载和查询模型列表即可
需要执行 xinference list、xinference launch 进行查看模型和加载本地上传的模型!
这些是客户端命令,需要连接启动的xinference服务器,确保xinference已经启动!
xinference默认用的是9997端口号,我们教案启动命令:xinference-local --host 0.0.0.0 --port 6006
指定的端口号是6006,所以xinference 客户端命令都需要通过 --endpoint 参数明确告诉它们你的服务运行在哪个地址。
加载模型:
xinference launch \
--model-name bge-large-zh-v1.5 \
--model-type embedding \
--model-path ~/.xinference/cache/bge-large-zh-v1.5/ \
--endpoint http://localhost:6006
# 6006 和localhost 改成你启动xinference的端口和地址即可

查看模型:
xinference list --endpoint http://localhost:6006

⑤ 下载重排序模型
huggingface平台下载:(还可以从ModelScope平台下载)
bge-reranker-base 地址:https://huggingface.co/BAAI/bge-reranker-base/tree/main

⑥ 上传到XInference服务器模型缓存文件夹
XInference默认缓存模型缓存文件夹位置: ~/.xinference/cache/bge-reranker-base
注意:如果没有证明你还没有通过可视化界面点击过下载!可以执行创建同名文件夹即可!
将刚刚下载的模型文件传入到bge-reranker-base文件夹内:

给与文件夹全部文件权限:(避免权限问题加载失败)
sudo chmod -R 777 /root/.xinference/cache/bge-reranker-base
⑦ 使用xinference加载和查询模型列表即可
需要执行 xinference list、xinference launch 进行查看模型和加载本地上传的模型!
这些是客户端命令,需要连接启动的xinference服务器,确保xinference已经启动!
xinference默认用的是9997端口号,我们教案启动命令:xinference-local --host 0.0.0.0 --port 6006
指定的端口号是6006,所以xinference 客户端命令都需要通过 --endpoint 参数明确告诉它们你的服务运行在哪个地址。
加载模型:
xinference launch \
--model-name bge-reranker-base \
--model-type rerank \
--model-path ~/.xinference/cache/bge-reranker-base/ \
--endpoint http://localhost:6006
# 6006 和localhost 改成你启动xinference的端口和地址即可
# xinference 1.40.0 以后支持reranker
# 在较旧的 XInference 版本中,模型类型只支持 embedding、llm 和 cross-encoder 等。reranker 是后来新增的模型类型,你的版本中没有这个类型的定义。

查看模型:
xinference list --endpoint http://localhost:6006
方式2:在线下载
① Windows平台访问
如此服务便启动了,我们可以通过使用Windows的访问AutoDL中XInference公网地址即可进行模型下载。

访问如下:

② 模型下载(嵌入+重排序模型)
选择嵌入模型,下载bge-large-zh-v1.5

按照如下配置进行下载模型

可能会出现兼容性问题报错,原因是 pip 默认安装的 xoscar v7.0+ 版本api与 xinference 不兼容,降级到xoscar v0.6.2 后可以正常启动。
Server error: 500 - [address=0.0.0.0:51032, pid=12889] MainActorPool.append_sub_pool() got an unexpected keyword argument ‘start_method’

pip install xoscar==0.6.2
#同时安装一些重要的依赖
pip install sentence-transformers
pip install sentencepiece transformers torch
之后重启Xinference服务,即可正常下载
#启动服务
xinference-local --host 0.0.0.0 --port 6006

接着,再安装一个重排序模型:

模型安装好了之后,通过launch运行,运行好的模型会在Running Model中看到


5.3 Dify接入Xinference中的模型
在网页Dify页面进行操作:
设置-模型供应商-连接Xinference

按照如下方法将Embedding模型和Reranker模型进行添加


这里的名称和id要和Xinference平台的保持一致。地址使用http://[dify服务器的内网ip]:6007
添加成功:

