云服务器内容精选
-
附录:镜像构建Dockerfile参考 如需自定义构建镜像,可参考以下Dockerfile进行操作。 FROM nvidia/cuda:11.6.2-base-ubuntu20.04 ENV HOME=/home/paas ENV GROUP_ID=1003 ENV GROUP_NAME=paas_user ENV USER_ID=1003 ENV USER_NAME=paas_user ENV OLLAMA_HOST=0.0.0.0:8000 RUN mkdir -m 550 ${HOME} && groupadd -g ${GROUP_ID} ${GROUP_NAME} && useradd -u ${USER_ID} -g ${GROUP_ID} ${USER_NAME} RUN apt-get update && apt-get install -y --no-install-recommends curl && rm -rf /var/lib/apt/lists/* RUN curl -fsSL https://ollama.com/install.sh | sh COPY entrypoint.sh ${HOME}/ RUN chown -R ${USER_ID}:${GROUP_ID} ${HOME} RUN find ${HOME} -type d | xargs chmod 775 RUN ollama serve & \ sleep 15 && \ ollama pull deepseek-r1:14B USER ${USER_NAME} WORKDIR ${HOME} EXPOSE 8000 ENTRYPOINT ["ollama", "serve"]
-
操作流程 表2介绍通过FunctionGraph,部署DeepSeek-R1蒸馏模型的总体操作流程。 表2 操作流程 操作流程 说明 步骤一:创建容器镜像函数 通过 函数工作流 控制台,创建容器镜像HTTP函数作为DeepSeek-R1蒸馏模型的镜像。 如需自定义构建镜像,可参考附录:镜像构建Dockerfile参考进行操作。 步骤二:创建APIG专享版触发器 购买并创建函数的APIG专享版触发器。 步骤三:配置客户端开始AI对话 下载并配置第三方客户端,部署DeepSeek-R1蒸馏模型开始AI对话,可选择以下任一客户端进行部署: 方式一:ChatBox(支持Windows、macOS、Linux、安卓、IOS、Web)(推荐使用) 方式二:AnythingLLM(支持Windows、macOS、Linux)
-
免责声明 本应用使用到的ChatGLM3以及镜像构建工程等项目均为社区开源项目,关于开源项目的问题还需到开源社区寻求帮助或者自行解决,华为云仅提供算力支持。 本实践作为简易示例供您参考和学习,如需应用于实际生产环境,请参考镜像构建工程完善和优化。使用过程中遇到的函数工作流问题,可通过提交工单进行咨询。 本应用部署后会自动创建APIG网关,建议在应用创建成功后根据提示绑定自定义 域名 ,使用自有域名访问应用界面。 父主题: 使用FunctionGraph部署AI对话ChatGLM3应用
-
步骤一:购买E CS 服务器 进入购买ECS服务器页面,购买过程中请参照以下注意事项。实例类型可根据业务需要自行选择,其他参数可参考设置ECS购买参数。 基础配置:如图1所示,本示例使用“按需计费”,区域选择“华东-上海一”。 图1 基础配置 操作系统:本示例镜像选用EulerOS 2.5 64bit(40GiB)。 不同镜像版本下,部分Linux命令可能存在差异。 储存与备份:鉴于多数模型文件的大小在1GB到10GB以上,建议依据具体需求选择系统盘容量,并参考图2新增数据盘进行挂载。 图2 系统盘选择 网络:虚拟私有云与主网卡请选择创建 虚拟私有云VPC 和子网中所创建VPC与子网,如图3所示。 图3 网络配置 安全组:请参考图4新建安全组,入方向规则允许子网内IP访问端口111、2049、2051、2052、20048以支持NFS服务;其他端口,如22端口用于SSH和SFTP、21端口用于FTP等,具体协议端口和源地址请根据实际需要配置。 图4 安全组设置 公网访问:请根据实际需求购买弹性公网IP并设置带宽大小。
-
步骤二:初始化自定义模型挂载文件系统 登录函数工作流控制台,区域选择“华东-上海一”。在左侧导航栏选择“应用中心”,单击创建成功且需初始化的应用名称,进入应用详情页面。 在应用详情页面,如图1所示单击“初始化自定义模型”,请仔细阅读弹出的说明后进行勾选操作,单击“确定”弹出初始化窗口。 图1 初始化自定义模型 在“初始化自定义模型”窗口填写如下参数: VPC:选择“vpc-fg(192.168.x.x/16)”。 子网:选择“subnet-fg(192.168.x.x/24)”。 文件系统来源:选择“SFS Turbo”。 文件系统名称:选择“sfs-turbo-fg”。 其他参数保持默认,如图2所示,配置完成后单击“确定”。 图2 初始化自定义模型 返回应用详情界面,“初始化自定义模型”按键变更为“上传模型”按键即初始化成功,单击“开始使用”进入WebUI界面,系统将在文件系统中自动创建与部署应用所需的目录和文件。 成功进入WebUI界面后无需进行操作,此操作用于加载文件系统中的目录和文件,便于后续上传自定义模型。
-
步骤一:创建SFS Turbo文件系统 登录华为云弹性文件服务控制台,选择“SFS Turbo”,单击“创建文件系统”,进入“创建文件系统”界面。 在“创建文件系统”界面,参考表1填写参数。其他参数保持默认即可,如需使用其他参数请参考创建SFS Turbo文件系统。 表1 文件系统参数说明 参数 参数说明 取值样例 计费模式 必选参数。 按需计费:适用于灵活使用场景。 包年/包月:适用于可预估资源使用周期的场景。 按需计费 区域 必选参数。 文件系统部署的区域。当前AI对话应用仅支持在“华东-上海一”部署,且需与创建的虚拟私有云VPC保持一致。 华东-上海一 项目 必选参数。 项目部署的区域。根据区域选择默认同步设置。 华东-上海一(默认) 可用区 必选参数。 与创建的子网可用区保持一致。 可用区1 类型 必选参数。 根据推荐场景和实际情况选择文件系统类型和性能。本例支持选择所有文件系统类型,推荐选择适合大多数使用场景的 250 MB/s/TiB类型。 250 MB/s/TiB 容量 必选参数。 单个文件系统的最大容量。请根据实际需求选择,输入值应位于1.2至1023.6的区间内且必须为1.2的整数倍。 1.2 企业项目 必选参数。 与创建虚拟私有云VPC时的选择保持一致。 default 选择网络 必选参数。 文件系统所属的VPC和子网。选择创建虚拟私有云VPC和子网中创建的VPC与子网。 vpc-fg; subnet-fg(192.168.x.x/24) 名称 必选参数。 文件系统的名称。要求如下: 长度范围为4~64位,并以字母开头。 只能由英文字母、数字、下划线“_”和中划线“-”组成。 sfs-turbo-fg 参数配置完成后,单击“立即创建”,再次确认信息后单击“提交”,等待文件系统创建任务提交成功即可。
-
步骤一:使用AI对话模板创建应用 登录函数工作流控制台,区域选择“华东-上海一”。在左侧导航栏选择“应用中心”,单击“创建应用”,进入模板选择页面。 如图1所示,找到“AI对话ChatGLM3”模板,单击“使用模板”,请仔细阅读弹出的说明后进行勾选操作,单击“同意并继续创建”。 图1 AI对话ChatGLM3模板 如果系统弹出“服务开通”提示弹窗,请阅读说明后单击“立即开通”。 进入“应用配置”页面,填写应用基本信息和参数配置信息: 应用名称:自定义填写或使用默认名称,本例使用默认名称。 委托名称:选择创建的“severless_trust”委托。 模式选择:选择“WebUI”。 APIG实例:选择步骤三:购买专享版APIG实例创建的APIG实例。 填写完成后如图2所示,单击“立即创建”。 图2 AI对话ChatGLM3应用配置 等待应用创建完成,创建成功的应用包含函数服务和专享版API网关资源,其中函数服务的关键资源功能说明请参考表1。 为方便快速体验,应用中心会为您分配一个临时域名,此临时域名仅可用于测试使用,有效期30天。若想开放应用长期访问,需在应用总览页面的域名提示信息中单击“去绑定”为应用绑定自定义域名,具体操作方案请参考配置API的调用域名。 表1 关键函数服务功能 函数资源逻辑名称 功能说明 chatglm 对话语言模型功能主体,可通过其APIG触发器访问ChatGLM3 WebUI界面。 custom_models_tool 可通过其APIG触发器管理自定义模型资源。
-
步骤二:使用默认模型和临时域名进行AI对话 如图3所示,单击应用详情界面的“开始使用”,进入ChatGLM3 WebUI界面。首次加载冷启动时间会持续30s左右,请耐心等待,如遇到加载超时问题,可以通过刷新页面解决。 图3 开始使用 本应用内置模型为ChatGLM3-6B大模型。如图4所示在文本框处输入文字(支持中英双语),单击下方的“Submit”,即可开始与AI进行对话。 图4 使用ChatGLM3进行AI对话 通过上述步骤创建的应用,仅可使用应用内置的模型进行AI对话,如果您需要使用更多自定义模型,需要为应用挂载外部文件系统,操作步骤请参考上传与使用自定义模型(可选)。
-
步骤四:为FunctionGraph创建云服务委托 使用FunctionGraph应用中心部署AI对话应用,需FunctionGraph服务与其他云服务协同。因此,部署前须配置委托,允许FunctionGraph使用必要的其他云服务资源。 登录 统一身份认证 服务控制台,左侧导航栏选择“委托”,进入“委托”页面后,右上角单击“创建委托”。 在“创建委托”页面,配置如下参数: 委托名称:填写“severless_trust”。 委托类型:选择“云服务”。 云服务:选择“函数工作流 FunctionGraph”。 持续时间:选择“永久”。 描述(可选):填写“AI对话应用”。 单击“完成”,系统提示创建成功,单击“立即授权”,进入“授权”界面。 在“选择策略”界面根据具体需求搜索表2中的策略并勾选,勾选完成后单击“下一步”。 表2 策略及相关说明 策略 策略权限说明 是否必选 SWR Admin 容器镜像服务 (SWR)管理员,拥有该服务下的所有权限。 必选。 VPC Administrator (系统将同时勾选该系统角色依赖的Server Administrator系统角色,无需手动取消) VPC Administrator:虚拟私有云服务管理员。 Server Administrator:服务器管理员。 必选。 SFS FullAccess 弹性文件服务所有权限。 上传和使用自定义模型挂载SFS文件系统时必选。 SFS Turbo FullAccess 弹性文件服务SFS Turbo的所有权限。 上传和使用自定义模型挂载SFS文件系统时必选。 如图1所示,在“设置最小授权范围”界面选择“指定区域项目资源”,勾选“cn-east-3 [华东-上海一]”,单击“确定”。 图1 指定区域项目资源 系统提示授权成功,即完成授权。
-
步骤一:申请加入WebSocket白名单 AI对话ChatGLM3应用需用到WebSocket特性,当前WebSocket特性处于公测阶段,使用应用前请先在工单系统中提交工单申请加入公测白名单。 选择问题所属产品:选择“函数工作流 (FunctionGraph)”。 选择问题类型:选择“函数列表”并新建工单。 新建工单:区域选择“华东-上海一”,问题描述填写“使用AI对话ChatGLM3应用,申请加入WebSocket特性公测白名单”,填写联系方式后提交工单。
-
步骤二:创建虚拟私有云VPC和子网 登录华为云网络控制台,单击“创建虚拟私有云”,进入“创建虚拟私有云”界面。 在“创建虚拟私有云”界面参考表1填写参数,其他参数保持默认即可。 表1 VPC和子网参数配置 参数类别 参数 参数说明 取值样例 基本信息 区域 必选参数。 VPC及其子网部署的区域。当前AI绘画应用仅支持在“华东-上海一”部署。 华东-上海一 名称 必选参数。 VPC的名称。要求如下: 长度范围为1~64位。 名称由中文、英文字母、数字、下划线(_)、中划线(-)、点(.)组成。 vpc-fg IPv4网段 必选参数。 设置VPC的IPv4网段范围,可以根据页面建议选择,VPC网段的选择需要考虑以下两点: IP地址数量:要为业务预留足够的IP地址,防止业务扩展给网络带来冲击。 IP地址网段:当前VPC与其他VPC、云下数据中心连通时,要避免网络两端的IP地址冲突,否则无法正常通信。 192.168.x.x/16 企业项目 必选参数。 企业项目管理提供了一种按企业项目管理云资源的方式,帮助您实现以企业项目为基本单元的资源及人员的统一管理,默认项目为default。 default 子网设置1 子网名称 必选参数。 子网的名称。要求如下: 长度范围为1~64位。 名称由中文、英文字母、数字、下划线(_)、中划线(-)、点(.)组成。 subnet-fg 可用区 必选参数。 在同一VPC网络内可用区与可用区之间内网互通,可用区之间能做到物理隔离。如业务需求高推荐选择多个可用区,本例以选择一个可用区为例。 可用区1(center) 子网IPv4网段 必选参数。 子网的IPv4网段范围。子网的网段必须在VPC网段范围内,子网网段的掩码长度范围为“子网所在VPC的掩码~29”,可以根据页面建议选择。 192.168.x.x/24 参数配置完成后,单击“立即创建”,完成虚拟私有云VPC和子网的创建。
-
使用FunctionGraph部署AI对话ChatGLM3操作流程 表1介绍本实践中使用FunctionGraph部署AI对话ChatGLM3应用的总操作流程与说明,其中进阶使用流程主要面向具体的业务使用需求场景,请参考相关说明选择使用。 表1 部署AI对话ChatGLM3应用操作流程说明 操作流程 说明 部署AI对话ChatGLM3准备工作 在FunctionGraph应用中心部署AI对话ChatGLM3应用前,需完成以下准备工作: 提交工单申请加入WebSocket白名单 创建虚拟私有云VPC和子网 购买专享版APIG实例 为FunctionGraph创建云服务委托 部署和使用AI对话ChatGLM3应用 使用FunctionGraph应用中心的AI对话ChatGLM3模板创建应用,即可使用内置默认模型和临时域名进行AI对话。 上传与使用自定义模型(可选) 如需使用自定义模型进行AI对话,还需进行以下操作: 创建SFS Turbo文件系统 初始化自定义模型挂载文件系统 上传与使用自定义模型 进阶使用:使用ECS作为NFS服务器实现多用户资源隔离 如需实现多用户使用场景下的资源隔离,FunctionGraph函数支持挂载ECS服务器作为文件系统来源,通过设置共享NFS路径可有效管理多用户模型资源,可通过以下操作实现: 购买ECS服务器 设置ECS下的NFS共享 在AI对话应用中挂载ECS 上传与使用自定义模型 父主题: 使用FunctionGraph部署AI对话ChatGLM3应用
-
使用FunctionGraph部署AI对话ChatGLM3资源和成本规划 本实践根据使用需求的不同,涉及的计费服务有所不同,请参考表1根据具体需求规划资源与成本。 表1 资源和成本规划 资源 资源说明 计费说明 是否必须 函数工作流 FunctionGraph 函数类型:容器镜像HTTP函数 区域:华东-上海一 购买量:2(应用创建成功后自动生成函数) 计费模式:按需计费。 函数工作流提供免费试用,每月前100万次调用免费。具体计费项及说明请参考函数工作流按需计费说明。 必须。 虚拟私有云 VPC 区域:华东-上海一 子网数量:1 安全组数量:1 购买量:1 虚拟私有云:免费。 子网:免费。 安全组:免费。 必须。 API网关 APIG 版本:专享版API网关 区域:华东-上海一 公网入口:开启 购买量:1 计费模式:本例使用按需计费。 实例规格和入公网带宽请根据业务需求选择,具体计费项及标准请参考专享版APIG按需计费说明。 必须。 弹性文件服务 SFS 区域:华东-上海一 文件系统类型:SFS Turbo文件系统 在售 类型:本例使用250MB/S/TiB 容量:1.2 TB 购买量:1 计费模式:本例使用按需计费。 具体计费项请参考弹性文件服务按需计费说明,价格详情请参见弹性文件服务价格详情。 上传和使用自定义模型时必须。 弹性云服务器 ECS 区域:华东-上海一 操作系统:公共镜像 EulerOS 2.5 64bit(40GiB) 购买量:1 计费模式:本例使用按需计费。 实例类型、存储规格请根据业务需求选择,具体计费项及标准请参考弹性云服务器按需计费说明,价格详情请参见弹性 云服务器价格 详情。 使用ECS作为NFS服务器时必须。 父主题: 使用FunctionGraph部署AI对话ChatGLM3应用
-
免责声明 本应用使用到的Stable-Diffusion、ComfyUI以及镜像构建工程等项目均为社区开源项目,关于开源项目的问题还需用户到开源社区寻求帮助或者自行解决,华为云仅提供算力支持。 本实践仅作为简易示例供用户参考和学习,如需应用于实际生产环境,请参考镜像构建工程自行完善和优化。使用过程中遇到的函数工作流问题,可通过提交工单进行咨询。 本应用部署后会为您创建APIG网关,根据有关规定,建议在应用创建成功后根据提示绑定自定义域名,使用您的自有域名访问应用界面。 父主题: 使用FunctionGraph部署AI绘画ComfyUI/ComfyUI+FLUX应用
-
应用场景 在使用ComfyUI进行AI绘图的过程中,常需要对模型和节点进行管理,ComfyUI Manager是一个具备集成功能和便利的扩展工具,用户可使用ComfyUI Manager工具在线安装与管理各类插件。在FunctionGraph中使用ComfyUI Manager,需要公网NAT网关和弹性公网IP提供公网访问能力,本例仅提供网络环境的配置指导,ComfyUI Manager相关操作方法请参考开源教程。
更多精彩内容
CDN加速
GaussDB
文字转换成语音
免费的服务器
如何创建网站
域名网站购买
私有云桌面
云主机哪个好
域名怎么备案
手机云电脑
SSL证书申请
云点播服务器
免费OCR是什么
电脑云桌面
域名备案怎么弄
语音转文字
文字图片识别
云桌面是什么
网址安全检测
网站建设搭建
国外CDN加速
SSL免费证书申请
短信批量发送
图片OCR识别
云数据库MySQL
个人域名购买
录音转文字
扫描图片识别文字
OCR图片识别
行驶证识别
虚拟电话号码
电话呼叫中心软件
怎么制作一个网站
Email注册网站
华为VNC
图像文字识别
企业网站制作
个人网站搭建
华为云计算
免费租用云托管
云桌面云服务器
ocr文字识别免费版
HTTPS证书申请
图片文字识别转换
国外域名注册商
使用免费虚拟主机
云电脑主机多少钱
鲲鹏云手机
短信验证码平台
OCR图片文字识别
SSL证书是什么
申请企业邮箱步骤
免费的企业用邮箱
云免流搭建教程
域名价格