云服务器内容精选

  • 操作流程 表2介绍通过FunctionGraph,部署DeepSeek-R1蒸馏模型的总体操作流程。 表2 操作流程 操作流程 说明 步骤一:创建容器镜像函数 通过 函数工作流 控制台,创建容器镜像HTTP函数作为DeepSeek-R1蒸馏模型的镜像。 如需自定义构建镜像,可参考附录:镜像构建Dockerfile参考进行操作。 步骤二:创建APIG专享版触发器 购买并创建函数的APIG专享版触发器。 步骤三:配置客户端开始AI对话 下载并配置第三方客户端,部署DeepSeek-R1蒸馏模型开始AI对话,可选择以下任一客户端进行部署: 方式一:ChatBox(支持Windows、macOS、Linux、安卓、IOS、Web)(推荐使用) 方式二:AnythingLLM(支持Windows、macOS、Linux)
  • 附录:镜像构建Dockerfile参考 如需自定义构建镜像,可参考以下Dockerfile进行操作。 FROM nvidia/cuda:11.6.2-base-ubuntu20.04 ENV HOME=/home/paas ENV GROUP_ID=1003 ENV GROUP_NAME=paas_user ENV USER_ID=1003 ENV USER_NAME=paas_user ENV OLLAMA_HOST=0.0.0.0:8000 RUN mkdir -m 550 ${HOME} && groupadd -g ${GROUP_ID} ${GROUP_NAME} && useradd -u ${USER_ID} -g ${GROUP_ID} ${USER_NAME} RUN apt-get update && apt-get install -y --no-install-recommends curl && rm -rf /var/lib/apt/lists/* RUN curl -fsSL https://ollama.com/install.sh | sh COPY entrypoint.sh ${HOME}/ RUN chown -R ${USER_ID}:${GROUP_ID} ${HOME} RUN find ${HOME} -type d | xargs chmod 775 RUN ollama serve & \ sleep 15 && \ ollama pull deepseek-r1:14B USER ${USER_NAME} WORKDIR ${HOME} EXPOSE 8000 ENTRYPOINT ["ollama", "serve"]
  • 免责声明 本应用使用到的ChatGLM3以及镜像构建工程等项目均为社区开源项目,关于开源项目的问题还需到开源社区寻求帮助或者自行解决,华为云仅提供算力支持。 本实践作为简易示例供您参考和学习,如需应用于实际生产环境,请参考镜像构建工程完善和优化。使用过程中遇到的函数工作流问题,可通过提交工单进行咨询。 本应用部署后会自动创建APIG网关,建议在应用创建成功后根据提示绑定自定义 域名 ,使用自有域名访问应用界面。 父主题: 使用FunctionGraph部署AI对话ChatGLM3应用
  • 步骤一:购买E CS 服务器 进入购买ECS服务器页面,购买过程中请参照以下注意事项。实例类型可根据业务需要自行选择,其他参数可参考设置ECS购买参数。 基础配置:如图1所示,本示例使用“按需计费”,区域选择“华东-上海一”。 图1 基础配置 操作系统:本示例镜像选用EulerOS 2.5 64bit(40GiB)。 不同镜像版本下,部分Linux命令可能存在差异。 储存与备份:鉴于多数模型文件的大小在1GB到10GB以上,建议依据具体需求选择系统盘容量,并参考图2新增数据盘进行挂载。 图2 系统盘选择 网络:虚拟私有云与主网卡请选择创建 虚拟私有云VPC 和子网中所创建VPC与子网,如图3所示。 图3 网络配置 安全组:请参考图4新建安全组,入方向规则允许子网内IP访问端口111、2049、2051、2052、20048以支持NFS服务;其他端口,如22端口用于SSH和SFTP、21端口用于FTP等,具体协议端口和源地址请根据实际需要配置。 图4 安全组设置 公网访问:请根据实际需求购买弹性公网IP并设置带宽大小。
  • 步骤二:初始化自定义模型挂载文件系统 登录函数工作流控制台,区域选择“华东-上海一”。在左侧导航栏选择“应用中心”,单击创建成功且需初始化的应用名称,进入应用详情页面。 在应用详情页面,如图1所示单击“初始化自定义模型”,请仔细阅读弹出的说明后进行勾选操作,单击“确定”弹出初始化窗口。 图1 初始化自定义模型 在“初始化自定义模型”窗口填写如下参数: VPC:选择“vpc-fg(192.168.x.x/16)”。 子网:选择“subnet-fg(192.168.x.x/24)”。 文件系统来源:选择“SFS Turbo”。 文件系统名称:选择“sfs-turbo-fg”。 其他参数保持默认,如图2所示,配置完成后单击“确定”。 图2 初始化自定义模型 返回应用详情界面,“初始化自定义模型”按键变更为“上传模型”按键即初始化成功,单击“开始使用”进入WebUI界面,系统将在文件系统中自动创建与部署应用所需的目录和文件。 成功进入WebUI界面后无需进行操作,此操作用于加载文件系统中的目录和文件,便于后续上传自定义模型。
  • 步骤一:创建SFS Turbo文件系统 登录华为云弹性文件服务控制台,选择“SFS Turbo”,单击“创建文件系统”,进入“创建文件系统”界面。 在“创建文件系统”界面,参考表1填写参数。其他参数保持默认即可,如需使用其他参数请参考创建SFS Turbo文件系统。 表1 文件系统参数说明 参数 参数说明 取值样例 计费模式 必选参数。 按需计费:适用于灵活使用场景。 包年/包月:适用于可预估资源使用周期的场景。 按需计费 区域 必选参数。 文件系统部署的区域。当前AI对话应用仅支持在“华东-上海一”部署,且需与创建的虚拟私有云VPC保持一致。 华东-上海一 项目 必选参数。 项目部署的区域。根据区域选择默认同步设置。 华东-上海一(默认) 可用区 必选参数。 与创建的子网可用区保持一致。 可用区1 类型 必选参数。 根据推荐场景和实际情况选择文件系统类型和性能。本例支持选择所有文件系统类型,推荐选择适合大多数使用场景的 250 MB/s/TiB类型。 250 MB/s/TiB 容量 必选参数。 单个文件系统的最大容量。请根据实际需求选择,输入值应位于1.2至1023.6的区间内且必须为1.2的整数倍。 1.2 企业项目 必选参数。 与创建虚拟私有云VPC时的选择保持一致。 default 选择网络 必选参数。 文件系统所属的VPC和子网。选择创建虚拟私有云VPC和子网中创建的VPC与子网。 vpc-fg; subnet-fg(192.168.x.x/24) 名称 必选参数。 文件系统的名称。要求如下: 长度范围为4~64位,并以字母开头。 只能由英文字母、数字、下划线“_”和中划线“-”组成。 sfs-turbo-fg 参数配置完成后,单击“立即创建”,再次确认信息后单击“提交”,等待文件系统创建任务提交成功即可。
  • 步骤一:使用AI对话模板创建应用 登录函数工作流控制台,区域选择“华东-上海一”。在左侧导航栏选择“应用中心”,单击“创建应用”,进入模板选择页面。 如图1所示,找到“AI对话ChatGLM3”模板,单击“使用模板”,请仔细阅读弹出的说明后进行勾选操作,单击“同意并继续创建”。 图1 AI对话ChatGLM3模板 如果系统弹出“服务开通”提示弹窗,请阅读说明后单击“立即开通”。 进入“应用配置”页面,填写应用基本信息和参数配置信息: 应用名称:自定义填写或使用默认名称,本例使用默认名称。 委托名称:选择创建的“severless_trust”委托。 模式选择:选择“WebUI”。 APIG实例:选择步骤三:购买专享版APIG实例创建的APIG实例。 填写完成后如图2所示,单击“立即创建”。 图2 AI对话ChatGLM3应用配置 等待应用创建完成,创建成功的应用包含函数服务和专享版API网关资源,其中函数服务的关键资源功能说明请参考表1。 为方便快速体验,应用中心会为您分配一个临时域名,此临时域名仅可用于测试使用,有效期30天。若想开放应用长期访问,需在应用总览页面的域名提示信息中单击“去绑定”为应用绑定自定义域名,具体操作方案请参考配置API的调用域名。 表1 关键函数服务功能 函数资源逻辑名称 功能说明 chatglm 对话语言模型功能主体,可通过其APIG触发器访问ChatGLM3 WebUI界面。 custom_models_tool 可通过其APIG触发器管理自定义模型资源。
  • 步骤二:使用默认模型和临时域名进行AI对话 如图3所示,单击应用详情界面的“开始使用”,进入ChatGLM3 WebUI界面。首次加载冷启动时间会持续30s左右,请耐心等待,如遇到加载超时问题,可以通过刷新页面解决。 图3 开始使用 本应用内置模型为ChatGLM3-6B大模型。如图4所示在文本框处输入文字(支持中英双语),单击下方的“Submit”,即可开始与AI进行对话。 图4 使用ChatGLM3进行AI对话 通过上述步骤创建的应用,仅可使用应用内置的模型进行AI对话,如果您需要使用更多自定义模型,需要为应用挂载外部文件系统,操作步骤请参考上传与使用自定义模型(可选)。
  • 步骤四:为FunctionGraph创建云服务委托 使用FunctionGraph应用中心部署AI对话应用,需FunctionGraph服务与其他云服务协同。因此,部署前须配置委托,允许FunctionGraph使用必要的其他云服务资源。 登录 统一身份认证 服务控制台,左侧导航栏选择“委托”,进入“委托”页面后,右上角单击“创建委托”。 在“创建委托”页面,配置如下参数: 委托名称:填写“severless_trust”。 委托类型:选择“云服务”。 云服务:选择“函数工作流 FunctionGraph”。 持续时间:选择“永久”。 描述(可选):填写“AI对话应用”。 单击“完成”,系统提示创建成功,单击“立即授权”,进入“授权”界面。 在“选择策略”界面根据具体需求搜索表2中的策略并勾选,勾选完成后单击“下一步”。 表2 策略及相关说明 策略 策略权限说明 是否必选 SWR Admin 容器镜像服务 (SWR)管理员,拥有该服务下的所有权限。 必选。 VPC Administrator (系统将同时勾选该系统角色依赖的Server Administrator系统角色,无需手动取消) VPC Administrator:虚拟私有云服务管理员。 Server Administrator:服务器管理员。 必选。 SFS FullAccess 弹性文件服务所有权限。 上传和使用自定义模型挂载SFS文件系统时必选。 SFS Turbo FullAccess 弹性文件服务SFS Turbo的所有权限。 上传和使用自定义模型挂载SFS文件系统时必选。 如图1所示,在“设置最小授权范围”界面选择“指定区域项目资源”,勾选“cn-east-3 [华东-上海一]”,单击“确定”。 图1 指定区域项目资源 系统提示授权成功,即完成授权。
  • 步骤二:创建虚拟私有云VPC和子网 登录华为云网络控制台,单击“创建虚拟私有云”,进入“创建虚拟私有云”界面。 在“创建虚拟私有云”界面参考表1填写参数,其他参数保持默认即可。 表1 VPC和子网参数配置 参数类别 参数 参数说明 取值样例 基本信息 区域 必选参数。 VPC及其子网部署的区域。当前AI绘画应用仅支持在“华东-上海一”部署。 华东-上海一 名称 必选参数。 VPC的名称。要求如下: 长度范围为1~64位。 名称由中文、英文字母、数字、下划线(_)、中划线(-)、点(.)组成。 vpc-fg IPv4网段 必选参数。 设置VPC的IPv4网段范围,可以根据页面建议选择,VPC网段的选择需要考虑以下两点: IP地址数量:要为业务预留足够的IP地址,防止业务扩展给网络带来冲击。 IP地址网段:当前VPC与其他VPC、云下数据中心连通时,要避免网络两端的IP地址冲突,否则无法正常通信。 192.168.x.x/16 企业项目 必选参数。 企业项目管理提供了一种按企业项目管理云资源的方式,帮助您实现以企业项目为基本单元的资源及人员的统一管理,默认项目为default。 default 子网设置1 子网名称 必选参数。 子网的名称。要求如下: 长度范围为1~64位。 名称由中文、英文字母、数字、下划线(_)、中划线(-)、点(.)组成。 subnet-fg 可用区 必选参数。 在同一VPC网络内可用区与可用区之间内网互通,可用区之间能做到物理隔离。如业务需求高推荐选择多个可用区,本例以选择一个可用区为例。 可用区1(center) 子网IPv4网段 必选参数。 子网的IPv4网段范围。子网的网段必须在VPC网段范围内,子网网段的掩码长度范围为“子网所在VPC的掩码~29”,可以根据页面建议选择。 192.168.x.x/24 参数配置完成后,单击“立即创建”,完成虚拟私有云VPC和子网的创建。
  • 步骤一:申请加入WebSocket白名单 AI对话ChatGLM3应用需用到WebSocket特性,当前WebSocket特性处于公测阶段,使用应用前请先在工单系统中提交工单申请加入公测白名单。 选择问题所属产品:选择“函数工作流 (FunctionGraph)”。 选择问题类型:选择“函数列表”并新建工单。 新建工单:区域选择“华东-上海一”,问题描述填写“使用AI对话ChatGLM3应用,申请加入WebSocket特性公测白名单”,填写联系方式后提交工单。
  • 使用FunctionGraph部署AI对话ChatGLM3操作流程 表1介绍本实践中使用FunctionGraph部署AI对话ChatGLM3应用的总操作流程与说明,其中进阶使用流程主要面向具体的业务使用需求场景,请参考相关说明选择使用。 表1 部署AI对话ChatGLM3应用操作流程说明 操作流程 说明 部署AI对话ChatGLM3准备工作 在FunctionGraph应用中心部署AI对话ChatGLM3应用前,需完成以下准备工作: 提交工单申请加入WebSocket白名单 创建虚拟私有云VPC和子网 购买专享版APIG实例 为FunctionGraph创建云服务委托 部署和使用AI对话ChatGLM3应用 使用FunctionGraph应用中心的AI对话ChatGLM3模板创建应用,即可使用内置默认模型和临时域名进行AI对话。 上传与使用自定义模型(可选) 如需使用自定义模型进行AI对话,还需进行以下操作: 创建SFS Turbo文件系统 初始化自定义模型挂载文件系统 上传与使用自定义模型 进阶使用:使用ECS作为NFS服务器实现多用户资源隔离 如需实现多用户使用场景下的资源隔离,FunctionGraph函数支持挂载ECS服务器作为文件系统来源,通过设置共享NFS路径可有效管理多用户模型资源,可通过以下操作实现: 购买ECS服务器 设置ECS下的NFS共享 在AI对话应用中挂载ECS 上传与使用自定义模型 父主题: 使用FunctionGraph部署AI对话ChatGLM3应用
  • 使用FunctionGraph部署AI对话ChatGLM3资源和成本规划 本实践根据使用需求的不同,涉及的计费服务有所不同,请参考表1根据具体需求规划资源与成本。 表1 资源和成本规划 资源 资源说明 计费说明 是否必须 函数工作流 FunctionGraph 函数类型:容器镜像HTTP函数 区域:华东-上海一 购买量:2(应用创建成功后自动生成函数) 计费模式:按需计费。 函数工作流提供免费试用,每月前100万次调用免费。具体计费项及说明请参考函数工作流按需计费说明。 必须。 虚拟私有云 VPC 区域:华东-上海一 子网数量:1 安全组数量:1 购买量:1 虚拟私有云:免费。 子网:免费。 安全组:免费。 必须。 API网关 APIG 版本:专享版API网关 区域:华东-上海一 公网入口:开启 购买量:1 计费模式:本例使用按需计费。 实例规格和入公网带宽请根据业务需求选择,具体计费项及标准请参考专享版APIG按需计费说明。 必须。 弹性文件服务 SFS 区域:华东-上海一 文件系统类型:SFS Turbo文件系统 在售 类型:本例使用250MB/S/TiB 容量:1.2 TB 购买量:1 计费模式:本例使用按需计费。 具体计费项请参考弹性文件服务按需计费说明,价格详情请参见弹性文件服务价格详情。 上传和使用自定义模型时必须。 弹性云服务器 ECS 区域:华东-上海一 操作系统:公共镜像 EulerOS 2.5 64bit(40GiB) 购买量:1 计费模式:本例使用按需计费。 实例类型、存储规格请根据业务需求选择,具体计费项及标准请参考弹性云服务器按需计费说明,价格详情请参见弹性 云服务器价格 详情。 使用ECS作为NFS服务器时必须。 父主题: 使用FunctionGraph部署AI对话ChatGLM3应用
  • 免责声明 本应用使用到的Stable-Diffusion、ComfyUI以及镜像构建工程等项目均为社区开源项目,关于开源项目的问题还需用户到开源社区寻求帮助或者自行解决,华为云仅提供算力支持。 本实践仅作为简易示例供用户参考和学习,如需应用于实际生产环境,请参考镜像构建工程自行完善和优化。使用过程中遇到的函数工作流问题,可通过提交工单进行咨询。 本应用部署后会为您创建APIG网关,根据有关规定,建议在应用创建成功后根据提示绑定自定义域名,使用您的自有域名访问应用界面。 父主题: 使用FunctionGraph部署AI绘画ComfyUI/ComfyUI+FLUX应用
  • 应用场景 在使用ComfyUI进行AI绘图的过程中,常需要对模型和节点进行管理,ComfyUI Manager是一个具备集成功能和便利的扩展工具,用户可使用ComfyUI Manager工具在线安装与管理各类插件。在FunctionGraph中使用ComfyUI Manager,需要公网NAT网关和弹性公网IP提供公网访问能力,本例仅提供网络环境的配置指导,ComfyUI Manager相关操作方法请参考开源教程。