云服务器内容精选

  • 应用场景 在数字化时代,新闻的生成与传播速度不断刷新记录。在ModelArts Studio大模型即服务平台(下面简称为MaaS),使用Qwen2-7B模型可以实现新闻自动分类,能够高效处理和分类大量新闻内容。 该解决方案可以应用于如下场景: 新闻门户网站: 自动将新闻内容归类到相应板块,如科技、体育或国际新闻,以提升用户体验和内容检索效率。 社交媒体平台: 对用户分享的新闻链接进行智能分类,帮助用户迅速定位到感兴趣的话题。 内容推荐系统: 根据用户的阅读偏好和历史行为,智能推荐相关新闻,增强用户粘性和满意度。 新闻分析工具: 为分析师提供自动分类的新闻数据,便于进行市场趋势和热点分析。
  • 步骤三:启动容器镜像 启动容器镜像。启动前请先按照参数说明修改${}中的参数。 export work_dir="自定义挂载的工作目录" export container_work_dir="自定义挂载到容器内的工作目录" export container_name="自定义容器名称" export image_name="镜像名称或ID" // 启动一个容器去运行镜像 docker run -itd --net=bridge \ --device=/dev/davinci0 \ --device=/dev/davinci1 \ --device=/dev/davinci2 \ --device=/dev/davinci3 \ --device=/dev/davinci4 \ --device=/dev/davinci5 \ --device=/dev/davinci6 \ --device=/dev/davinci7 \ --device=/dev/davinci_manager \ --device=/dev/devmm_svm \ --device=/dev/hisi_hdc \ --shm-size=256g \ -v /usr/local/dcmi:/usr/local/dcmi \ -v /usr/local/Ascend/driver:/usr/local/Ascend/driver \ -v /var/log/npu/:/usr/slog \ -v /usr/local/sbin/npu-smi:/usr/local/sbin/npu-smi \ -v ${work_dir}:${container_work_dir} \ --name ${container_name} \ ${image_name} \ /bin/bash 参数说明: -v ${work_dir}:${container_work_dir}:代表需要在容器中挂载宿主机的目录。宿主机和容器使用不同的文件系统。work_dir为宿主机中工作目录,目录下可存放项目所需代码、数据等文件。container_work_dir为要挂载到的容器中的目录。为方便两个地址可以相同。 容器不能挂载到/home/ma-user目录,此目录为ma-user用户家目录。如果容器挂载到/home/ma-user下,拉起容器时会与基础镜像冲突,导致基础镜像不可用。 driver及npu-smi需同时挂载至容器。 --name ${container_name}:容器名称,进入容器时会用到,此处可以自己定义一个容器名称。 ${image_name}:容器镜像的名称。 --device=/dev/davinci0 :挂载对应卡到容器,当需要挂载多卡,请依次添加多项该配置 通过容器名称进入容器中。默认使用ma-user用户,后续所有操作步骤都在ma-user用户下执行。 docker exec -it ${container_name} bash
  • 步骤五:CogVideo微调 下载模型权重 下载CogVideoX1.5 5b模型,huggingface地址如下 https://huggingface.co/THUDM/CogVideoX1.5-5B 准备数据集 数据集可参考使用如下数据集 https://huggingface.co/datasets/Wild-Heart/Tom-and-Jerry-VideoGeneration-Dataset 进行data cache 由于CogVideoX1.5对显存需求较大,直接训练显存不足,训练采用data cache,将text encoder和vae两个不参与训练的模型对数据集进行预编码处理。 cd /home/ma-user/finetrainers 对/home/ma-user/finetrainers/prepare_dataset.sh文件进行修改,配置对应的参数: MODEL_ID="path/CogVideoX1.5-5B" # 模型路径 DATA_ROOT="path/Tom-and-Jerry-VideoGeneration-Dataset" # 数据集路径 CAPTION_COLUMN="captions.txt" # 数据集提示词文件名 VIDEO_COLUMN="videos.txt" # 数据集视频名文件名 OUTPUT_DIR="path/preprocessed-Tom-dataset" # 预编码处理的tensor数据集输出路径 修改后,执行prepare_dataset.sh脚本 bash prepare_dataset.sh 进行模型训练 cd /home/ma-user/finetrainers 对finetrainers/train_text_to_video_sft.sh文件进行修改,配置训练使用的超参数: MAX_TRAIN_STEPS=("20000") # 最大训练步数 DATA_ROOT="path/preprocessed-Tom-dataset" # 预编码处理的tensor数据集路径,即data cache的输出路径 CAPTION_COLUMN="prompts.txt" # 数据集提示词文件名 VIDEO_COLUMN="videos.txt" # 数据集视频名文件名 MODEL_PATH="THUDM/CogVideoX1.5-5B" # 模型路径 output_dir="/path/to/my/models/cogvideox-sft # 模型输出路径 修改后,执行train_text_to_video_sft.sh脚本 bash train_text_to_video_sft.sh 以上微调文档提示来自官方文档,有关可用微调脚本参数及其功能的全面文档,您可以参考官方finetrainers中CogVideo训练文档。
  • 步骤一:准备环境 请参考Lite Server资源开通,购买Server资源,并确保机器已开通,密码已获取,能通过SSH登录,不同机器之间网络互通。 当容器需要提供服务给多个用户,或者多个用户共享使用该容器时,应限制容器访问Openstack的管理地址(169.254.169.254),以防止容器获取宿主机的元数据。具体操作请参见禁止容器获取宿主机元数据。 SSH登录机器后,检查NPU设备检查。运行如下命令,返回NPU设备信息。 npu-smi info # 在每个实例节点上运行此命令可以看到NPU卡状态 npu-smi info -l | grep Total # 在每个实例节点上运行此命令可以看到总卡数 如出现错误,可能是机器上的NPU设备没有正常安装,或者NPU镜像被其他容器挂载。请先正常安装固件和驱动,或释放被挂载的NPU。 检查docker是否安装。 docker -v #检查docker是否安装 如尚未安装,运行以下命令安装docker。 yum install -y docker-engine.aarch64 docker-engine-selinux.noarch docker-runc.aarch64 配置IP转发,用于容器内的网络访问。执行以下命令查看net.ipv4.ip_forward配置项的值,如果为1,可跳过此步骤。 sysctl -p | grep net.ipv4.ip_forward 如果net.ipv4.ip_forward配置项的值不为1,执行以下命令配置IP转发。 sed -i 's/net\.ipv4\.ip_forward=0/net\.ipv4\.ip_forward=1/g' /etc/sysctl.conf sysctl -p | grep net.ipv4.ip_forward
  • 步骤四:安装依赖和软件包 git clone和git lfs下载大模型可以参考如下操作。 由于欧拉源上没有git-lfs包,所以需要从压缩包中解压使用,在浏览器中输入如下地址下载git-lfs压缩包并上传到容器的/home/ma-user目录下。 https://github.com/git-lfs/git-lfs/releases/download/v3.2.0/git-lfs-linux-arm64-v3.2.0.tar.gz 或直接下载到容器,这样在容器中可以直接使用。 cd /home/ma-user wget https://github.com/git-lfs/git-lfs/releases/download/v3.2.0/git-lfs-linux-arm64-v3.2.0.tar.gz 进入容器,执行安装git lfs命令。 cd /home/ma-user tar -zxvf git-lfs-linux-arm64-v3.2.0.tar.gz cd git-lfs-3.2.0 sudo sh install.sh 设置git配置去掉ssl校验。 git config --global http.sslVerify false 从github拉取finetrainers代码。 cd /home/ma-user git clone https://github.com/a-r-r-o-w/finetrainers.git cd /home/ma-user/finetrainers git checkout 80d1150a0e233a1 若进行训练微调需依赖decord包,arm版本可参考附录安装编译。 由于当前CogVideoX1.5版本依赖的diffuser暂未合入主线,需安装分支版本diffuser cd /home/ma-user git clone https://github.com/zRzRzRzRzRzRzR/diffusers cd /home/ma-user/diffusers/ git checkout cogvideox1.1-5b git checkout ea166f85ad0090d182ec5f0 pip install -e . 安装CogVideo Ascend软件包。 将获取到的CogVideo Ascend软件包AscendCloud-AIGC-*.zip文件上传到容器的/home/ma-user目录下。获取路径参见获取软件和镜像。 解压AscendCloud-AIGC-*.zip文件,解压后将里面指定文件与对应CogVideo文件进行替换,执行以下命令即可。 cd /home/ma-user unzip AscendCloud-AIGC-*.zip -d ./AscendCloud cd AscendCloud/multimodal_algorithm/CogVideoX_1_5/ dos2unix install.sh bash install.sh AscendCloud-AIGC-*.zip后面的*表示时间戳,请按照实际替换。 CogVideo Ascend软件包内容如下: . |---- install.sh 安装torch-npu适配修改脚本 |---- modify.patch 适配CogVideo训练代码git patch文件 |---- README.md 适配文档基于官方代码commit id说明 |---- requirements.txt python依赖包
  • 获取软件和镜像 表2 获取软件和镜像 分类 名称 获取路径 插件代码包 AscendCloud-6.3.912-xxx.zip软件包中的AscendCloud-AIGC-6.3.912-xxx.zip 说明: 包名中的xxx表示具体的时间戳,以包名的实际时间为准。 获取路径:Support-E,在此路径中查找下载ModelArts 6.3.912 版本。 说明: 如果上述软件获取路径打开后未显示相应的软件信息,说明您没有下载权限,请联系您所在企业的华为方技术支持下载获取。 基础镜像 西南-贵阳一: swr.cn-southwest-2.myhuaweicloud.com/atelier/pytorch_2_1_ascend:pytorch_2.1.0-cann_8.0.rc3-py_3.9-hce_2.0.2409-aarch64-snt9b-20241213131522-aafe527 从SWR拉取。
  • 操作步骤 需要先安装yum和expect。 sudo apt-get install yum yum install expect 把rank_table_file.json、start.sh和权重文件放在同一目录下。其中rank_table_file.json和start.sh只需要在主节点即可。rank_table_file.json仅作为模板使用,会在start.sh脚本里自动更新,文件内容详见附录:rank_table_file.json文件和一键部署脚本start.sh。参考目录结构如下: ${mountPath} |---rank_table_file.json |---start.sh |---DeepSeekR1 # 权重文件所在目录,每个节点都要有,且目录结构保持一致 执行部署脚本start.sh。 sh start.sh --model_name ${modelName} --mount_path ${mountPath} --maxSeqLen ${maxSeqLen} --node_ips ${nodeIps} --passwords ${nodePwds} modelName:模型权重所在文件夹名称。注意:文件夹名称需要包含R1或V3。例如:DeepSeekR1。 mountPath:容器挂载的路径,且不能为/home,该路径下包含权重文件所在目录。即为权重文件所在目录的父目录。 maxSeqLen:输入长度+输出长度的最大值。推荐默认16384。 nodeIps:节点IP列表,使用“,“分隔。双机填2个节点IP地址,4台机器填写4个节点IP地址。 nodePwds:各节点的root用户登录密码,使用“,“分隔,和上述节点要一一对应。如果只设置一个,则默认全部节点使用相同密码。
  • 操作步骤 登录华为云解决方案实践,选择“快速搭建EvalScope模型性能评测平台”,单击“一键部署”,跳转至解决方案创建资源栈界面。 图1 解决方案实施库 在选择模板界面中,单击“下一步”。 图2 选择模板 在配置参数界面中,参考“表1 参数填写说明”完成自定义参数填写,部分参数会自动默认填充参数值。如需修改请在参数配置页面删除文本框内的默认值后填写新的参数值,所有参数填写完成后方可单击“下一步”。 图3 配置参数 表1 参数填写说明 参数名称 类型 是否可选 参数解释 默认值 vpc_name string 必填 虚拟私有云名称,同时作为子网、安全组的名称前缀,该模板使用新建VPC,不允许重名。取值范围:1-57个字符,支持中文、英文字母、数字、_(下划线)、-(中划线)、.(点)。 building-EvalScope-demo ecs_name string 必填 云服务器实例名称,同时作为弹性公网 IP及其带宽的名称前缀,不支持重名。取值范围:1-54个字符,支持中文、英文字母、数字、_(下划线)、-(中划线)、.(点)。 building-EvalScope-demo ecs_flavor string 必填 云服务器实例规格,支持弹性云服务器 E CS 及华为云Flexus 云服务器X实例。Flexus 云服务器X实例规格ID命名规则为x1.?u.?g,例如2vCPUs4GiB规格ID为x1.2u.4g,具体华为云Flexus 云服务器X实例规格请参考控制台。弹性云服务器 ECS规格请参考部署指南配置。默认:x1.2u.4g。规格信息具体请参考官网弹性云服务器规格清单。 x1.2u.4g ecs_password string 必填 云服务器密码,长度为8-26位,密码至少必须包含大写字母、小写字母、数字和特殊字符(!@$%^-_=+[{}]:,./?)中的三种,仅支持小写字母、数字、中划线(-)、英文句号(.)。修改密码,请参考重置云服务器密码登录ECS控制台修改密码。管理员账户默认root。 空 system_disk_size number 必填 云服务器系统盘大小,磁盘类型默认为通用型SSD,单位:GB,取值范围为40-1,024,不支持缩盘。 40 charging_mode string 必填 云服务器计费模式,默认自动扣费,可选值为:postPaid(按需计费)、prePaid(包年包月)。 postPaid charging_unit string 必填 云服务器订购周期类型,仅当charging_mode为prePaid(包年/包月)生效,此时该参数为必填参数。取值范围:month(月),year(年)。 month charge_period number 必填 云服务器订购周期,仅当charging_mode为prePaid(包年/包月)生效,此时该参数为必填参数。取值范围:charging_unit=month(周期类型为月)时,取值为1-9;charging_unit=year(周期类型为年)时,取值为1-3。 1 (可选,如果使用华为主账号或admin用户组下的 IAM 子账户可不选委托)在资源设置界面中,在权限委托下拉框中选择“rf_admin_trust”委托,单击“下一步”。 图4 资源栈设置 在配置确认界面中,单击“创建执行计划”。 图5 配置确认 在弹出的创建执行计划框中,自定义填写执行计划名称,单击“确定”。 图6 创建执行计划 单击“部署”,并且在弹出的执行计划确认框中单击“执行”。 图7 执行计划 图8 执行计划确认 (可选)如果计费模式选择“包年包月”,在余额不充足的情况下(所需总费用请参考表2)请及时登录费用中心,手动完成待支付订单的费用支付。 待“事件”中出现“Apply required resource success”,堆栈部署成功,表示顺利完成资源的下发和部署。堆栈部署成功后,搭建EvalScope脚本开始执行,耐心等待10-20分钟左右(受网络波动影响)。 图9 部署完成
    AI
  • 安全组规则修改(可选) 安全组实际是网络流量访问策略,包括网络流量入方向规则和出方向规则,通过这些规则为安全组内具有相同保护需求并且相互信任的云服务器、云容器、云数据库等实例提供安全保护。 如果您的实例关联的安全组策略无法满足使用需求,比如需要添加、修改、删除某个TCP端口,请参考以下内容进行修改。 添加安全组规则:根据业务使用需求需要开放某个TCP端口,请参考添加安全组规则添加入方向规则,打开指定的TCP端口。 修改安全组规则:安全组规则设置不当会造成严重的安全隐患。您可以参考修改安全组规则,来修改安全组中不合理的规则,保证云服务器等实例的网络安全。 删除安全组规则:当安全组规则入方向、出方向源地址/目的地址有变化时,或者不需要开放某个端口时,您可以参考删除安全组规则进行安全组规则删除。
  • 步骤2:部署模型服务 模型创建成功后,在我的模型列表,单击操作列的“部署”,进入部署模型服务页面。 在部署模型服务页面,完成创建配置。 图5 资源设置 表2 部署模型服务 参数 说明 取值样例 服务设置 服务名称 自定义模型服务的名称。 service-1122 描述 部署模型服务的简介。 - 模型设置 部署模型 当从“我的模型”进入部署模型服务页面时,此处默认呈现选择的模型。 Qwen2-7B 资源设置 资源池类型 资源池分为公共资源池与专属资源池。 公共资源池供所有租户共享使用。 专属资源池需单独创建,不与其他租户共享。 公共资源池 实例规格 选择实例规格,规格中描述了服务器类型、型号等信息。 xxx 流量限制(QPS) 设置待部署模型的流量限制QPS。 3 实例数 设置服务器个数。 1 更多选项 内容审核 选择是否打开内容审核,默认启用。 开关打开(默认打开),内容审核可以阻止模型推理中的输入输出中出现不合规的内容,但可能会对接口性能产生较大影响。 开关关闭,停用内容审核服务,将不会审核模型推理中的输入输出,模型服务可能会有违规风险,请谨慎关闭。 关闭“内容审核”开关,需要在弹窗中确认是否停用内容审核服务,勾选后,单击“确定”关闭。 打开 事件通知 选择是否打开“事件通知”开关。 开关关闭(默认关闭):表示不启用 消息通知 服务。 开关打开:表示订阅消息通知服务,当任务发生特定事件(如任务状态变化或疑似卡死)时会发送通知。此时必须配置“主题名”和“事件”。 “主题名”:事件通知的主题名称。单击“创建主题”,前往消息通知服务中创建主题。 “事件”:选择要订阅的事件类型。例如“创建中”、“已完成”、“运行失败”等。 关闭 自动停止 当使用付费资源时,可以选择是否打开“自动停止”开关。 开关关闭(默认关闭):表示任务将一直运行。 开关打开:表示启用自动停止功能,此时必须配置自动停止时间,支持设置为“1小时”、“2小时”、“4小时”、6小时或“自定义”。启用该参数并设置时间后,运行时长到期后将会自动终止任务,准备排队等状态不扣除运行时长。 关闭 参数配置完成后,单击“提交”,创建部署任务。 在任务列表,当模型“状态”变成“运行中”时,表示模型部署完成。
  • 准备工作 已 注册华为账号 并开通华为云,且在使用ModelArts前检查账号状态,账号不能处于欠费或冻结状态。 配置委托访问授权 ModelArts使用过程中涉及到与OBS、SWR等服务交互,首次使用ModelArts需要用户配置委托授权,允许访问这些依赖服务。 使用华为云账号登录ModelArts管理控制台,在左侧导航栏单击“权限管理”,进入“权限管理”页面,单击“添加授权”。 在弹出的“访问授权”窗口中, 授权对象类型:所有用户(或根据实际情况配置) 委托选择:新增委托 权限配置:普通用户 选择完成后勾选“我已经详细阅读并同意《ModelArts服务声明》”,然后单击“创建”。 图1 配置委托访问授权 完成配置后,在ModelArts控制台的权限管理列表,可查看到此账号的委托配置信息。 图2 查看委托配置信息
  • 步骤1:创建我的模型 登录ModelArts管理控制台。 在左侧导航栏中,选择“ModelArts Studio”进入ModelArts Studio大模型即服务平台。 在ModelArts Studio左侧导航栏中,选择“我的模型”进入模型列表。 在模型列表页,单击“创建模型”弹出创建模型页面。 在创建模型页面,配置参数。 图3 创建模型 表1 创建模型 参数 说明 取值样例 来源模型 单击“选择基础模型”,在弹窗中选择模型,单击“确定”。 Qwen2-7B 模型名称 自定义模型名称。 Qwen2-7B 描述 模型简介。 - 权重设置与词表 默认选择“使用推荐权重”,支持选择“自定义权重”。 使用平台推荐的权重文件,可提高模型的训练、压缩、部署和调优等服务的使用效率。 权重文件指的是模型的参数集合。 使用推荐权重 参数配置完成后,单击“创建”,创建自定义模型。 在模型列表,单击模型名称可以进入详情页查看模型详细信息和任务。 当模型“状态”变成“创建成功”时,表示模型创建完成。 图4 查看我的模型状态
  • ModelArts入门实践 本章节列举了一些常用的实践案例,方便您快速了解并使用ModelArts完成AI开发。 表1 常用最佳实践 分类 实践案例 描述 适用人群 ModelArts Standard模型训练 基于ModelArts Standard上运行GPU训练任务 本案例介绍了如何使用ModelArts Standard专属资源池提供的计算资源,结合SFS和OBS存储,在ModelArts Standard的训练环境中开展单机单卡、单机多卡、多机多卡分布式训练。 面向熟悉代码编写和调测的AI工程师,同时了解SFS和OBS云服务 从 0 制作 自定义镜像 并用于训练(Pytorch+CPU/GPU) 本案例介绍如何从0开始制作镜像,并使用该镜像在ModelArts Standard平台上进行训练。镜像中使用的AI引擎是Pytorch,训练使用的资源是CPU或GPU。 面向熟悉代码编写和调测的AI工程师,同时熟悉docker容器知识 从 0 制作自定义镜像并用于训练(MindSpore+Ascend) 本案例介绍如何从0开始制作镜像,并使用该镜像在ModelArts Standard平台上进行训练。镜像中使用的AI引擎是MindSpore,训练使用的资源是Ascend。 主流开源大模型基于Standard适配PyTorch NPU训练指导 本案例基于ModelArts Standard供的昇腾计算资源,指导用户完成Llama、Qwen、ChatGLM、Yi、Baichuan等常见开源大模型的预训练、SFT微调、LoRA微调训练过程。 面向熟悉代码编写和调测的AI工程师 ModelArts Standard推理部署 使用Standard一键完成商超商品识别模型部署 本案例以“商超商品识别”模型为例,介绍从AI Gallery订阅模型,一键部署到ModelArts Standard,并进行在线推理预测的体验过程。 面向AI开发零基础的用户 从0-1制作自定义镜像并创建AI应用 针对ModelArts不支持的AI引擎,您可以构建自定义镜像,并将镜像导入ModelArts,创建为模型。本案例详细介绍如何使用自定义镜像创建模型,并部署成在线服务。 面向熟悉代码编写和调测的AI工程师,同时熟悉docker容器知识 主流开源大模型基于Standard适配PyTorch NPU推理指导 本案例基于ModelArts Standard供的昇腾计算资源,指导用户完成Llama、Qwen、ChatGLM、Yi、Baichuan等常见开源大模型的推理部署、模型评测、模型量化等功能。 面向熟悉代码编写和调测的AI工程师 ModelArts Standard自动学习 使用Standard自动学习实现垃圾分类 本案例基于华为云AI开发者社区AI Gallery中的数据集资产,让零AI基础的开发者使用ModelArts Standard的自动学习功能完成“图像分类”AI模型的训练和部署。 面向AI开发零基础的用户 使用Standard自动学习实现口罩检测 本案例基于华为云AI开发者社区AI Gallery中的数据集资产,让零AI基础的开发者使用ModelArts Standard的自动学习功能完成“物体检测”AI模型的训练和部署。依据开发者提供的标注数据及选择的场景,无需任何代码开发,自动生成满足用户精度要求的模型。 ModelArts Standard开发环境 使用ModelArts VS Code插件调试训练ResNet50图像分类模型 本案例以Ascend Model Zoo为例,介绍如何通过VS Code插件及ModelArts Standard的Notebook进行云端数据调试及模型开发。 面向熟悉代码编写和调测的AI工程师 ModelArts Lite Server 主流开源大模型基于DevServer适配PyTorch NPU训练指导 本案例基于ModelArts Lite DevServer供的昇腾计算资源,指导用户完成Llama、Qwen、ChatGLM、Yi、Baichuan等常见开源大模型的预训练、SFT微调、LoRA微调训练过程。 面向熟悉代码编写和调测的AI工程师,同时熟悉Linux和Docker容器基础知识 主流开源大模型基于DevServer适配PyTorch NPU推理指导 本案例基于ModelArts Lite DevServer提供的昇腾计算资源,指导用户完成Llama、Qwen、ChatGLM、Yi、Baichuan等常见开源大模型的推理部署、模型评测、模型量化等功能。
  • 名词解释 Flexus云服务器X实例:Flexus云服务器X实例是新一代面向中小企业和开发者打造的柔性算力云服务器。Flexus云服务器X实例功能接近ECS, 同时还具备独有特点,例如Flexus云服务器X实例具有更灵活的vCPU内存配比、支持热变配不中断业务变更规格、支持性能模式等。 弹性云服务器 ECS:是一种云上可随时自助获取、可弹性伸缩的计算服务,可帮助您打造安全、可靠、灵活、高效的应用环境。 虚拟私有云 VPC:是用户在华为云上申请的隔离的、私密的虚拟网络环境。用户可以基于VPC构建独立的云上网络空间,配合弹性公网IP、云连接、云专线等服务实现与Internet、云内私网、跨云私网互通,帮您打造可靠、稳定、高效的专属云上网络。 弹性公网IP EIP:提供独立的公网IP资源,包括公网IP地址与公网出口带宽服务。可以与弹性云服务器、裸金属服务器、虚拟IP、弹性负载均衡、NAT网关等资源灵活地绑定及解绑,提供访问公网和被公网访问能力。
    AI
  • GPU版 登录弹性云服务器 ECS控制台,如下图所示获取3.2快速部署步骤3中的部署的弹性云服务器的弹性公网 IP地址和私有 IP地址。 图5 获取公网IP 浏览器输入http://[弹性公网IP],访问Dify的开发平台。首次登录需注册管理员账号,依次填写邮箱、账号、密码。 图6 Dify开发平台 依次输入上一步骤中的“邮箱”、“密码”登录Dify平台。 图7 登录Dify平台 单击右侧“用户名称”下拉并单击“设置”。 图8 设置 单击左侧“模型供应商”,在Ollama下单击“添加模型”。 图9 添加模型 模型名称填写3.2快速部署中部署的模型,如“deepseek-r1:7b”,基础URL填写步骤1中获取的私网IP地址,端口号11434,单击右下角“保存”并关闭“设置”。 图10 添加Ollama 选择“创建空白应用”,单击“聊天助手”并填写“应用名称&图标”,单击右下角“创建”。 图11 创建空白应用 图12 创建应用 单击左侧“编排”,在右下角“和机器人聊天”中输入内容即可调试预览。 图13 调试与预览 拓展应用请参考: 华为云ModelArts Studio,助力快速搭建专属大模型 探索Dify:开启AI应用开发的新篇章
    AI