microblog | 微博客
原创
访问
0
获赞
0
评论
相关推荐
暂无数据
最新文章
暂无数据
热门文章
暂无数据

# 第09章:企业级大模型的部署

bug写完了吗 11月14日 14:10:25 0 6 0
分类专栏: AI 文章标签: 大模型 AI

第09章:企业级大模型的部署

1、为什么需要企业级大模型的部署

1.1 整体部署方案

企业在使用大模型的过程中,首要保证的就是数据的安全。那要想数据安全,就需要实现私有化的部署。这里包括大语言模型、嵌入模型、重排序模型以及多模态模型等。

这里是咱们这套课程的整体部署方案。主服务器中安装Docker,部署Dify,对外统一提供大模型服务。比如:RAG、智能体Agent。同时,咱们也会结合不同的模型服务平台来满足多样化的需求,这里我们在GPU服务器A和B中,分别部署Ollama和Xinference,以便展示Dify管理多个外部模型服务的能力。进而再独立的部署大语言模型以及嵌入模型、重排序模型。

最后在Dify中调用前面配置好的大模型即可。

image-20250818101754473

这里是我们配置或部署的三条主线。整体课程也是顺着这条主线展开:

image-20250715101933277

1.2 问题答疑

针对上图,这里有几个问题。

问题1:这个项目中只把Dify安装在了Docker中。Ollama、Xinference直接部署在GPU服务器,没有在Docker中。为什么?

首先说,Ollama、Xinference是可以部署到Docker中的。但是Ollama、Xinference中模型使用,需要消耗大量GPU,而Docker中默认是使用CPU,不能使用GPU。所以:

方案1:Ollama、Xinference不安装在Docker中

方案2:Ollama、Xinference安装Docker中,但是需要额外安装其他的软件,支持GPU的调用。

这里使用方案1,只将Dify安装到docker中,Ollama和Xinference不安装到docker中。

问题2:为什么不在Ollama平台安装嵌入模型(Embedding Models)和重排序模型(ReRank Models)?

Ollama专注于简化大语言模型(LLM)的本地部署和管理。对嵌入模型(Embedding Models)和重排序模型(ReRank Models)的直接支持相对有限,可用的模型也较少(比如嵌入模型)有的甚至直接没有(比如重排序模型)。所以会选择XInference。

问题3:Xinference不了解,简单介绍一下?

Xinference是一个功能更全面的模型服务框架,它不仅支持部署和管理大语言模型,还对嵌入模型和重排序模型提供了广泛且灵活的支持。

问题4:为何考虑多服务器部署?

虽然将Ollama、Xinference与Dify部署在同一台服务器上是可行的,但采用分离部署(即将Ollama和Xinference分别部署在独立的服务器上)通常能带来以下好处:

  • 好处1:分散计算压力,优化资源利用:大语言模型及相关AI模型的运算(尤其是推理过程)对GPU等计算资源消耗较大。所以把不同的模型服务部署在不同的服务器上,可以将计算负载分摊开,当特定模型被调用时,其计算压力将主要集中在承载该模型的服务器上,避免单一服务器遇到资源瓶颈。确保整体的稳定高效运行。
  • 好处2:提高可扩展性和灵活性:随着Dify平台上接管的应用增多或特定模型调用频率增加,可能需要独立扩展某个模型服务(如增加更多GPU资源给Xinference服务器)。多服务器架构为此类精细化的资源扩展提供了便利。
  • 好处3:演示Dify的分布式模型管理能力:此架构清晰地演示了Dify平台如何有效地管理部署在不同服务器上的Ollama和Xinference所提供的模型服务,有助于构建复杂的、分布式的AI应用。

2、企业级大模型的应用场景(复习)

场景1:基于RAG架构的开发

背景:

  • 大模型的知识冻结
  • 大模型幻觉

随着 LLM 规模扩大,训练成本与周期相应增加。因此,包含最新信息的数据难以融入模型训练过程,无法及时反映最新的信息或动态变化。导致 LLM 在应对诸如“请推荐当前热门影片”等时间敏感性问题。

举例:

LLM在考试的时候面对陌生的领域,答复能力有限,然后就准备放飞自我了,而此时RAG给了一些提示和思路,让LLM懂了开始往这个提示的方向做,最终考试的正确率从60%到了90%!

image-20250304161644357

何为RAG?

Retrieval-Augmented Generation(检索增强生成)

langchain+chatglm

RAG架构图

检索-增强-生成过程:检索可以理解为第10步,增强理解为第13步(这里的提示词包含检索到的数据),生成理解为第15步。

image-20250624150647769

这里有三个位置涉及到大模型的使用:

  • 第3步向量化时,需要使用EmbeddingModels。
  • 第7步重排序时,需要使用RerankModels。可对初步召回的较多 chunk(如 top 20 或 top 50)进行精排,提高召回准确率,防止LLM 处理无关信息,减少时间和成本。
  • 第9步生成答案时,需要使用LLM。

Reranker的使用场景:

  • 适合:追求回答高精度和高相关性的场景中特别适合使用 Reranker,例如专业知识库或者客服系统等应用。
  • 不适合:Reranker相较于RAG的成本更高。此外,引入reranker会增加召回时间,增加检索延迟。服务对响应时间要求高时,使用reranker可能不合适。

场景2:基于Agent架构的开发

充分利用 LLM 的推理决策能力,通过增加规划、记忆和工具调用的能力,构造一个能够独立思考、逐步完成给定目标的智能体。

OpenAI的元老翁丽莲于2023年6月在个人博客首次提出了现代AI Agent架构。

image-20250530140905346

一个数学公式来表示:

Agent = LLM + Memory + Tools + Planning + Action

智能体核心要素被细化为以下模块:

1、大模型(LLM)作为“大脑”:提供推理、规划和知识理解能力,是AI Agent的决策中枢。

大脑主要由一个大型语言模型 LLM 组成,承担着信息处理和决策等功能, 并可以呈现推理和规划的过程,能很好地应对未知任务。

2、记忆(Memory)

智能体像人类一样,能留存学到的知识以及交互习惯等,这样的机制能让智能体在处理重复工作时调用以前的经验,从而避免用户进行大量重复交互。

  • 短期记忆:存储单次对话周期的上下文信息,属于临时信息存储机制。受限于模型的上下文窗口长度。

    image-20250304105140008

  • 长期记忆:可以横跨多个任务或时间周期,可存储并调用核心知识,非即时任务。

    • 长期记忆,可以通过模型参数微调(固化知识)、**知识图谱(结构化语义网络)或向量数据库(相似性检索)**方式实现。

以人作类比:

  • 短期记忆:在进行心算时临时记住几个数字
  • 长期记忆:学会骑自行车后,多年后再次骑起来时仍能掌握这项技能

3、工具使用(Tool Use):调用外部工具(如API、数据库)扩展能力边界。

image-20250619163714339

4、规划决策(Planning):通过任务分解、反思与自省框架实现复杂任务处理。例如,利用思维链(Chain of Thought)将目标拆解为子任务,并通过反馈优化策略。

image-20250619172832609

image-20250619172902680

5、行动(Action):实际执行决策的模块,涵盖软件接口操作(如自动订票)和物理交互(如机器人执行搬运)。比如:检索、推理、编程等。

智能体会形成完整的计划流程。例如先读取以前工作的经验和记忆,之后规划子目标并使用相应工具去处理问题,最后输出给用户并完成反思。

3、主线1:Dify平台私有化部署

3.1 Dify平台的介绍(复习)

Dify 作为一个综合性的 LLM 应用开发平台,内置了构建现代生成式 AI 应用所需的几乎所有关键技术栈。

它的具体功能如下:

  • 基于Agent架构构建智能体应用
  • 基于RAG构建私有知识库应用
  • 基于Workflow构建智能工作流应用

Dify 是当今最优雅、门槛最低、最受欢迎、效果最好的大模型开发平台之一。

无论是经验丰富的程序员还是初涉AI领域的团队(如产品经理、运营人员),都能够快速、高效地搭建并运营生产级别的生成式 AI 应用。

官网:https://dify.ai/zh

文档说明:https://github.com/langgenius/dify/blob/main/README_CN.md

说明:访问Dify官网需要魔法(或梯子、科学上网)

3.2 租赁Dify服务器:腾讯云

企业用户可以选择租用云服务器,或者在本地的服务器中部署Dify。因为Dify所需的资源很小,一个轻量级的服务器足以支持运行。

我们需要租赁一个云服务器去运行Dify服务:腾讯云。

官网:https://cloud.tencent.com/

① 基础配置

https://buy.cloud.tencent.com/cvm

如果是企业中使用或者个人资金充裕且业务稳定的话,可以选择长租使用。期望优惠的话,可以选择竞价实例。竞价实例,在性能和稳定性上,与按量计费模式没有差别。

竞价实例,只要有人租长期的服务器就有可能把你的服务器踢掉,实例被竞价释放也是有解决办法的,后续会去讲。

image-20250624110356161

地域选择:没有要求,自己根据需要选即可。

实例配置:根据自己需求选择,无具体要求。这里我选择4核8GB。

image-20250624110821097

镜像:选择CentOS、Ubuntu都可以,这里使用了Ubuntu。选择后点击下一步。

image-20250624110837216

image-20250715145801269

② 设置网络和主机

拉满带宽上限,新建安全组,把常用的端口都开启

image-20250624110900269

命名实例,设置密码,进行下一步

image-20251120144226628

开通

image-20250624110916265

③ 登录(使用Xshell或finalshell或windTerm)

image-20250715151147907

创建好了,通过这个公网IP,端口使用22,账号ubuntu,密码使用你设置的密码。使用你的远程连接工具XShell 或 final shell 连接即可。

XShell界面如下:

image-20250715151404191

3.3 部署Docker

部署dify平台,需要基于docker环境,而腾讯云新建的云平台上默认是没有docker的。接着,需要在腾讯云租用的服务器中部署Docker。

什么是Docker?

image-20250811175107285

Docker是一种容器化技术,相较于传统的通过虚拟机技术实现的虚拟化方案来说,Docker是⼀种更加轻量级的虚拟化解决方案。

**它可以将应用程序及其依赖项打包成一个独立的容器,并在不同的环境中运行。**通过Docker容器, 开发者可以轻松地构建、部署和运行应用程序,而无需担心环境配置和依赖问题。

按照下面的指令一步一步进行操作

#更新软件包 sudo apt update sudo apt upgrade #安装docker依赖 sudo apt install software-properties-common sudo apt-get install ca-certificates curl gnupg lsb-releasesudo sudo apt-get install ca-certificates curl gnupg lsb-release #添加Docker官方GPG密钥 curl -fsSL http://mirrors.aliyun.com/docker-ce/linux/ubuntu/gpg | sudo apt-key add - #添加Docker软件源(输入后根据提示按Enter) sudo add-apt-repository "deb [arch=amd64] http://mirrors.aliyun.com/docker-ce/linux/ubuntu $(lsb_release -cs) stable" #安装docker(输入后根据提示输入 y ) sudo apt-get install docker-ce docker-ce-cli containerd.io --fix-missing

执行sudo apt upgrade的时候会出现这个界面,按回车即可

image-20250811091630148

之后如果在这个界面卡住,按几下回车即可

image-20250811091816244

安装完毕,启动docker,并查看状态

sudo systemctl start docker sudo systemctl status docker

如图所示即为启动成功

image-20250715154645265

看到running状态说明docker已经正常启动

注意:安装过程中如果报错如下:

image-20251117140452058

可以按如下操作步骤执行:

步骤 关键检查点/操作 预期结果/说明
1. 验证Docker安装状态 运行 sudo systemctl status docker 确认Docker服务当前的状态和错误日志。
2. 检查并取消服务屏蔽 执行 sudo systemctl unmask docker.service 解决服务被意外“屏蔽”导致无法启动的问题。
3. 检查依赖服务状态 运行 systemctl list-dependencies docker.service.
如果containerd服务异常,尝试启动它:sudo systemctl start containerd
查看Docker依赖的服务(如containerd)是否正常。
如果启动失败,进入第4步
4. 修复containerd(关键步骤) 执行:① sudo apt-get update
② sudo apt-get install --reinstall containerd.io
重新安装Docker的核心运行时依赖。

如果以上步骤均无效,可以考虑彻底清理Docker及其相关组件后重新安装。这是解决文件损坏或版本冲突的可靠方法。

彻底卸载Docker:

sudo apt-get purge docker-ce docker-ce-cli containerd.io sudo rm -rf /var/lib/docker sudo rm -rf /var/lib/containerd

3.4 部署Dify

官网:https://github.com/langgenius/dify

文档:https://docs.dify.ai/zh-hans/getting-started/install-self-hosted/docker-compose

安装 Dify 之前, 请确保你的机器已满足最低安装要求:

  • CPU >= 2 Core
  • RAM >= 4 GiB

① 下载

注意:新版本Dify本地部署可能会出现各种兼容问题,强烈推荐0.15.5版本,稳定,功能效果一致!

在/opt下创建一个dify目录,用于存储dify源码:

cd /opt sudo mkdir dify #用于存储dify源码包
方式1:离线下载包(推荐)

离线下载源码包(科学上网)

下载地址:https://github.com/langgenius/dify/releases/tag/0.15.5

1763090017313

注意:网不好同学,已经提前下载好,放在课程资料中!

利用远程连接工具(比如:XFTP)将dify源码包传递到服务器 /opt/dify文件夹中,并解压即可:

image-20251120214856130

上传可能失败(因为默认ubuntu用户权限不足),解决办法如下

# 方式1:赋予指定用户指定目录的完全权限(使用777) # 在Ubuntu终端xshell执行:sudo chmod -R 777 /目标目录的完整路径 sudo chmod -R 777 /opt/dify # 方式2:先将文件上传到您的用户主目录(如 /home/ubuntu),这个目录通常有写入权限 # 然后使用XShell或终端,通过命令移动文件:sudo mv /home/ubuntu/文件名 /目标/path/

进行解压:

#进入dify目录,在opt目录下执行: cd ./dify #解压 sudo tar -zxvf dify-0.15.5.tar.gz cd /opt/dify/dify-0.15.5 pwd # 输出 /opt/dify/dify-0.15.5

1763091789868

方式2:Gitee下载

如果使用github下载过慢,还可以使用码云(Gitee)或镜像网站替代 GitHub 直接下载,利用国内服务器加速。

操作步骤:

1)注册码云账号(https://gitee.com )。

2)在码云新建仓库,选择「导入GitHub仓库」,粘贴 https://github.com/langgenius/dify.git 的链接 。

3)导入完成后,使用码云生成的仓库地址克隆:

sudo git clone https://gitee.com/你的用户名/dify.git

这里大家也可以直接使用我的链接:

sudo git clone https://gitee.com/shkstart/dify.git

image-20250716231626295

② 使用docker启动Dify

  1. 进入 Dify 源代码的 Docker 目录:

    cd /opt/dify/dify-0.15.5/docker
  2. 复制环境配置文件

    sudo cp .env.example .env
  3. 启动 Docker 容器

    根据你系统上的 Docker Compose 版本,选择合适的命令来启动容器。你可以通过 docker compose version 命令检查版本,详细说明请参考 Docker 官方文档:

    • 如果版本是 Docker Compose V2,使用以下命令(课程对应版本):

      sudo docker compose up -d
    • 如果版本是 Docker Compose V1,使用以下命令:

      sudo docker-compose up -d

    说明:Docker 会自动帮你:拉取需要的镜像 → 创建容器 → 按顺序启动所有服务 → 后台运行。

  4. 运行命令后,你应该会看到类似以下的输出,显示所有容器的状态和端口映射:

    注意:第一次拉取镜像,时间可能会很!!!

    [+] Running 11/11 ✔ Network docker_ssrf_proxy_network Created ✔ Network docker_default Created ✔ Container docker-redis-1 Started ✔ Container docker-ssrf_proxy-1 Started ✔ Container docker-sandbox-1 Started ✔ Container docker-web-1 Started ✔ Container docker-weaviate-1 Started ✔ Container docker-db-1 Started ✔ Container docker-api-1 Started ✔ Container docker-worker-1 Started ✔ Container docker-nginx-1 Started
  5. 最后检查是否所有容器都正常运行:

    sudo docker compose ps

    在这个输出中,你应该可以看到包括 3 个业务服务 api / worker / web,以及 6 个基础组件 weaviate / db / redis / nginx / ssrf_proxy / sandbox 。

    image-20251117162409929

  6. 停止Dify运行

#一键关停所有相关容器,干净不残留 docker compose down
  1. 同步环境变量配置(重要!)
  • 如果 .env.example 文件有更新,请务必同步修改你本地的 .env 文件。

  • 检查 .env 文件中的所有配置项,确保它们与你的实际运行环境相匹配。你可能需要将 .env.example 中的新变量添加到 .env 文件中,并更新已更改的任何值。

③ 常见问题解决

问题1:安装 Dify常见问题和解决方案

sudo docker compose up -d

执行失败,大概率会由于网络问题或镜像缺失问题发生报错。

image-20250715173421518

image-20250605110352485

进行镜像源的配置

sudo vi /etc/docker/daemon.json

添加下面的配置

{ "registry-mirrors": [ "https://docker.unsee.tech", "https://dockerpull.org", "https://docker.1panel.live", "https://dockerhub.icu", "https://docker.m.daocloud.io", "https://docker.nju.edu.cn", "https://registry.docker-cn.com", "https://docker.mirrors.ustc.edu.cn", "https://hub-mirror.c.163.com", "https://mirror.baidubce.com", "https://5tqw56kt.mirror.aliyuncs.com", "https://docker.hpcloud.cloud", "http://mirrors.ustc.edu.cn", "https://docker.chenby.cn", "https://docker.ckyl.me", "http://mirror.azure.cn", "https://hub.rat.dev"] }

保存,然后在终端重新启动一下docker

# 重新登陆,需要输入密码 systemctl daemon-reload systemctl restart docker

重新执行

sudo docker compose up -d

开始正常下载了

image-20250605111023405

问题2:可能出现报错,报错如下

image-20250605111647894

于是根据报错信息检查

sudo vi /etc/apparmor.d/tunables/home.d/ubuntu

删除掉报错信息中第七行的多余字符即可

image-4f93a9cc-8b68-4b18-b9c2-bdab0b7c7902

重新运行,成功

image-20250605112103687

④ 访问

你可以先前往管理员初始化页面设置设置管理员账户:

# 本地环境 http://localhost/install # 服务器环境 http://your_server_ip/install

image-20250717082751916

如图所示为成功访问,进行注册登陆即可

image-20250717082902281

注意:如果一直无法加载进去,则需要重启docker再次尝试

④ 设置镜像

为避免案例中的竞价实例被释放,可以在控制台中的快照中设置快照策略,即使被释放了也能保存快照,从而快速恢复

image-20250624135512109

image-20250624135549495

image-20250624135559773

再次进入定期快照策略可发现已设置成功

3.5 部署在线大模型

如果想调用线上的LLM,则可以用Dify选择线上的模型运营商。比如说可以在模型运营商中选择Deepseek

image-20250606150306743

DeepSeek官网地址:https://www.deepseek.com/,在官网获取自己的API即可配置后使用

image-20251120152435639

在这里我们可以使用提供的在线大模型运营商,但是为了考虑到可能存在的数据安全问题,所以我们自己部署Ollama和Xinference,进而部署私有的大模型。

image-20250605135524234

image-20250605135548119

4、主线2:大语言模型的部署

4.1 租赁GPU服务器:AutoDL

AutoDL介绍

这里我们选用AutoDL平台租赁服务器。这是一款面向开发者和企业的云计算平台,主要提供高性价比的GPU算力资源,支持AIGC、深度学习、云游戏、渲染测绘、元宇宙、HPC等应用。

**平台地址:**https://www.autodl.com/

AutoDL服务器的资源比较紧俏,且比较贵

  • 一台机器开机一个小时平均花费2元
  • 建议:一般早上开始工作的时候开机,在结束一天工作的时候关机。

① 配置服务器+镜像

选择服务器:

这里可以选择西北B区的单卡4090作为我们的服务器,我们需要租赁两台服务器,一台部署Ollama,另一台部署Xinference。

注意:在AutoDL平台上,只提供了6006端口进行开放。

image-20250623091017210

选择镜像版本:

image-20250623091120043

② XShell连接登录

复制该服务器的登录指令,通过远程连接工具进行登录

image-20251117171226626

image-20251117171604345

测试连接:

默认的用户名:root

image-20250715171002228

连接成功

③ 克隆实例

在关机状态下,进行实例克隆,创建出一个副本。

image-20250624104356190

设置一下备注名称

image-20250624115829581

④ 开启学术资源加速

为下载一些外网的资源(比如Github、HuggingFace等),需要在当前终端中开启学术资源加速

免不了我们要在这个系统上安装一些软件。这些软件可能来自于如下的红框的位置。默认是下载不了的。那么就需要魔法或科学上网。这里我们称为:学术加速。

https://www.autodl.com/docs/network_turbo/

image-20250623092008610

将框选住的一行复制到终端输入即可

source /etc/network_turbo

image-20250715171206300

4.2 模型管理平台中部署Ollama

没有ollama之前,部署一个私有的大模型比较复杂。需要在主机上安装很多依赖的软件。但现在我们只需要安装Ollama,大模型相关的依赖,Ollama都提供好了。

Ollama介绍

当涉及到大语言模型(LLMs)的管理、部署和使用时,使用像 Ollama 、 XInference 和 LocalAI 这些模型管理工具可以显著提升模型的可管理性,提高工作效率。

Ollama是在Github上的一个开源项目,项目定位是:一个本地运行大模型的集成框架。通过将模型权重、配置文件和必要数据封装进由Modelfile定义的包中,从而实现大模型的下载、启动和本地运行的自动化部署及推理流程。

Ollama官方地址:https://ollama.com

Ollama Github开源地址:https://github.com/ollama/ollama

Ollama项目支持跨平台部署,目前已兼容Mac、Linux和Windows操作系统。无论使用哪个操作系统,Ollama项目的安装过程都设计得非常简单。

① Ollama的部署(下载-启动)

使用连接工具打开我们用于部署AutoDL上的GPU服务器 Ollama

启动学术加速

source /etc/network_turbo

创建如下的目录

sudo mkdir ./data sudo mkdir ./data/dify

来到Linux如下目录

cd /data/dify/ #没有此目录,可以先创建。 sudo mkdir ./data 等

执行命令

curl -fsSL https://ollama.com/install.sh | sh

上述指令来自于:

image-20250521152254559

下载完毕

image-20250715171441197

启动Ollama服务

# (云服务器部署需允许外部访问,127.0.0.1 仅本地可访问) OLLAMA_HOST=0.0.0.0:6006 ollama serve

② Ollama中下载大模型

地址:https://ollama.com/library 查看可以部署哪些模型

举例:接入Qwen3:4b开源模型

image-20250715171628036

复制该指令

image-20250715171709740

再开启一个终端,执行运行命令。会从网络下载该模型:

source /etc/network_turbo #先启动学术加速
OLLAMA_HOST=127.0.0.1:6006 ollama run qwen3:4b #如果下载过慢,大家也可以下载较小的模型,比如: OLLAMA_HOST=127.0.0.1:6006 ollama run qwen2.5:1.5b OLLAMA_HOST=127.0.0.1:6006 ollama run qwen2.5:0.5b

安装成功后可以通过提问检验是否成功

image-20250811192724072

然后使用 Ctrl+d 退出该对话。

**注意:**如果网络问题 ollama run qwen2.5:1.5b 拉取失败,我们可以选择离线替换ollama模型包

1、将准备好的离线模型文件上传到服务器ollama默认的模型存储文件夹

上传的文件:

image-20251120223817918

上传的位置: ollama会在 ~/.ollama/models文件夹存储模型,传入此文件夹即可

image-20251120223901031

或者:使用WindTerm如下

1763632902692

查看大模型的安装情况:

OLLAMA_HOST=127.0.0.1:6006 ollama list

③ Dify中接入Ollama中的大语言模型

在网页Dify页面进行操作:

设置-模型供应商-安装ollama服务

image-20250624141307483

image-20250605143150148

配置Ollama服务的模型

image-20250605143232302

模型名称填写刚刚下载的qwen3:4b

URL中IP地址使用Dify服务器的内网IP即可,端口号使用6006。点击保存

1763099687806

1763099759792

image-20251121001026727

注:当显示添加成功后,但是没有模型的话,说明还未加载成功,并不是配置失败。需要等待一段时间即可刷新出来。配置失败是不会显示配置成功的。

如图添加完毕

image-20250624142011454

可以用相同的方法添加更多模型,比如这里可以在Ollama中下载一个qwen2.5:7b,用相同的方法接入到Dify中

image-20250624161431445

5、主线3:嵌入&重排序模型的部署

5.1 模型管理平台中部署XInference

XInference介绍

XInference 是⼀个强大且通用的分布式推理框架,也可以用于私有化部署和运行大语言模型,通过 XInference 可以简化各种AI模型的运行和集成,使开发者可以使用任何开源大语言模型、推理模型、多模态模型在云端或本地环境中运行、推理,创建强大的AI应用。

① XShell登录服务器

地址参考如下:

image-20250812004428710

粘贴到XShell中进行登录:

image-20250812004317078

用户名默认为root:

image-20250812004347967

密码:

image-20250812004525140

登录成功:

image-20250812004539205

② XInference的部署(下载)

开启学术加速

source /etc/network_turbo

依次输入如下指令,开始安装Xinference

注意:最新版本会有一些依赖上的冲突,所以下载如下这个版本

python -m pip install --upgrade pip pip install 'xinference==1.13.0' #安装torch pip install -i https://pypi.tuna.tsinghua.edu.cn/simple torch #升级PyTorch pip install --upgrade torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
#启动服务 xinference-local --host 0.0.0.0 --port 6006

image-20250812005042447

5.2 XInference中下载大模型

方式1:离线下载(推荐)

后续上传嵌入模型和重排序模型时,可能跟当前的XInference版本出现兼容性问题报错,原因是 pip 默认安装的 xoscar v7.0+ 版本api与 xinference 不兼容,降级到xoscar v0.6.2 后可以正常启动。

① 指定xoscar版本:

pip install xoscar==0.6.2 #同时安装一些重要的依赖 pip install sentence-transformers pip install sentencepiece transformers torch

之后重启Xinference服务,即可正常下载

#启动服务 xinference-local --host 0.0.0.0 --port 6006

②下载嵌入模型

注意:需要科学上网(已经下载好放在资料文件夹)

huggingface平台下载:(还可以从ModelScope平台下载)

bge-large-zh-v.15地址:https://huggingface.co/BAAI/bge-large-en-v1.5/tree/main

点击下载:

1763810076826

③ 上传到xinference服务器模型缓存文件夹

xinference默认缓存模型缓存文件夹位置: ~/.xinference/cache/bge-large-zh-v1.5

1)创建对应的文件目录

root@autodl-container-df3e4fb7df-427d8493:~# sudo mkdir .xinference root@autodl-container-df3e4fb7df-427d8493:~# cd ./.xinference/ root@autodl-container-df3e4fb7df-427d8493:~/.xinference# sudo mkdir cache root@autodl-container-df3e4fb7df-427d8493:~/.xinference# cd cache

2)上传bge-large-zh-v1.5

image-20251122230744044

3)给与文件夹全部文件权限:(避免权限问题加载失败)

sudo chmod -R 777 /root/.xinference/cache/bge-large-zh-v1.5

④ 使用xinference加载和查询模型列表即可

需要执行 xinference list、xinference launch 进行查看模型和加载本地上传的模型!

这些是客户端命令,需要连接启动的xinference服务器,确保xinference已经启动!

xinference默认用的是9997端口号,我们教案启动命令:xinference-local --host 0.0.0.0 --port 6006

指定的端口号是6006,所以xinference 客户端命令都需要通过 --endpoint 参数明确告诉它们你的服务运行在哪个地址。

加载模型:

xinference launch \ --model-name bge-large-zh-v1.5 \ --model-type embedding \ --model-path ~/.xinference/cache/bge-large-zh-v1.5/ \ --endpoint http://localhost:6006 # 6006 和localhost 改成你启动xinference的端口和地址即可

1763810803238

查看模型:

xinference list --endpoint http://localhost:6006

1763810835285

⑤ 下载重排序模型

huggingface平台下载:(还可以从ModelScope平台下载)

bge-reranker-base 地址:https://huggingface.co/BAAI/bge-reranker-base/tree/main

1763815888191

⑥ 上传到XInference服务器模型缓存文件夹

XInference默认缓存模型缓存文件夹位置: ~/.xinference/cache/bge-reranker-base

注意:如果没有证明你还没有通过可视化界面点击过下载!可以执行创建同名文件夹即可!

将刚刚下载的模型文件传入到bge-reranker-base文件夹内:

1763815928237

给与文件夹全部文件权限:(避免权限问题加载失败)

sudo chmod -R 777 /root/.xinference/cache/bge-reranker-base

⑦ 使用xinference加载和查询模型列表即可

需要执行 xinference list、xinference launch 进行查看模型和加载本地上传的模型!

这些是客户端命令,需要连接启动的xinference服务器,确保xinference已经启动!

xinference默认用的是9997端口号,我们教案启动命令:xinference-local --host 0.0.0.0 --port 6006

指定的端口号是6006,所以xinference 客户端命令都需要通过 --endpoint 参数明确告诉它们你的服务运行在哪个地址。

加载模型:

xinference launch \ --model-name bge-reranker-base \ --model-type rerank \ --model-path ~/.xinference/cache/bge-reranker-base/ \ --endpoint http://localhost:6006 # 6006 和localhost 改成你启动xinference的端口和地址即可 # xinference 1.40.0 以后支持reranker # 在较旧的 XInference 版本中,模型类型只支持 embedding、llm 和 cross-encoder 等。reranker 是后来新增的模型类型,你的版本中没有这个类型的定义。

1763810803238

查看模型:

xinference list --endpoint http://localhost:6006

方式2:在线下载

① Windows平台访问

如此服务便启动了,我们可以通过使用Windows的访问AutoDL中XInference公网地址即可进行模型下载。

image-20251120225727395

访问如下:

image-20250607165828234

② 模型下载(嵌入+重排序模型)

选择嵌入模型,下载bge-large-zh-v1.5

image-20250606141503840

按照如下配置进行下载模型

image-20250606142003724

可能会出现兼容性问题报错,原因是 pip 默认安装的 xoscar v7.0+ 版本api与 xinference 不兼容,降级到xoscar v0.6.2 后可以正常启动。

Server error: 500 - [address=0.0.0.0:51032, pid=12889] MainActorPool.append_sub_pool() got an unexpected keyword argument ‘start_method’

pip install xoscar==0.6.2 #同时安装一些重要的依赖 pip install sentence-transformers pip install sentencepiece transformers torch

之后重启Xinference服务,即可正常下载

#启动服务 xinference-local --host 0.0.0.0 --port 6006

image-20250624143218233

接着,再安装一个重排序模型:

image-20250606143435906

模型安装好了之后,通过launch运行,运行好的模型会在Running Model中看到

image-20250607144551455

image-20250607144523662

image-20250624160458523

5.3 Dify接入Xinference中的模型

在网页Dify页面进行操作:

设置-模型供应商-连接Xinference

image-20250606144534636

按照如下方法将Embedding模型和Reranker模型进行添加

1763099687806

1763100042494

这里的名称和id要和Xinference平台的保持一致。地址使用http://[dify服务器的内网ip]:6007

添加成功:

image-20250625094055030



评论区

登录后参与交流、获取后续更新提醒

目录
暂无数据