检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
rc3-py_3.9-hce_2.0.2406-aarch64-snt3p-20240906180137-154bd1b 从SWR拉取。 约束限制 本文档适配昇腾云ModelArts 6.3.910版本，请参考表2的软件包和镜像，请严格遵照版本配套关系使用本文档。 确保容器可以访问公网。
程。本方案利用适配昇腾平台的大模型推理服务框架vLLM和华为自研昇腾Snt9B硬件，为用户提供推理部署方案，帮助用户使能大模型业务。 约束限制 本方案目前仅适用于部分企业客户。 本文档适配昇腾云ModelArts 6.3.909版本，请参考软件配套版本获取配套版本的软件包，请严格遵照版本配套关系使用本文档。
VS Code：利用ModelArts插件，实现VS Code远程连接Notebook示例完成远程开发，详情请见使用指导。 下文将介绍如何在ModelArts Standard上使用预置镜像创建Notebook实例。 登录ModelArts管理控制台，在左侧导航栏中选择“开发空间
远程使用Notebook实例、通过VS Code远程使用Notebook实例、通过SSH工具远程使用Notebook。 在AI开发过程中，如何将文件方便快速地上传到Notebook几乎是每个开发者都会遇到的问题。ModelArts提供了多种文件上传方式，在文件上传过程中，可以查看上传进度和速度。
Gallery中提供了常见的精度较高的算法和相应的训练数据集，用户可以在AI Gallery的资产集市中获取。 后续操作：清除相应资源 在完成预测之后，建议关闭服务，以免产生不必要的计费。 停止运行服务 预测完成后，单击页面右上角的“停止”，即可停止该服务。 单击左上角返回在线服务，在对应的服务名
户。详细的退订规则请参见云服务退订规则概览。 如果您已开启“自动续费”功能，为避免继续产生费用，请在自动续费扣款日（默认为到期前7日）之前关闭自动续费。 按需计费资源 对于按需计费模式的资源，如果不再使用这些资源且需停止计费，请删除相应资源。 通过账单查找云服务资源并停止计费 为
Gallery中提供了常见的精度较高的算法和相应的训练数据集，用户可以在AI Gallery的资产集市中获取。 后续操作：清除相应资源 在完成预测之后，建议关闭服务，以免产生不必要的计费。 停止运行服务 预测完成后，单击页面右上角的“停止”，即可停止该服务。 单击左上角返回在线服务，在对应的服务名
用户需有一定的Java开发经验，熟悉jar打包流程。 用户需了解WebSocket协议的基本概念及调用方法。 用户需熟悉Docker制作镜像的方法。 约束与限制 WebSocket协议只支持部署在线服务。 只支持自定义镜像导入模型部署的在线服务。 准备工作 ModelArts使用WebSocket
接，用户本地IDE可以远程连接到ModelArts的Notebook开发环境中，调试和运行代码。 对于使用本地IDE的开发者，由于本地资源限制，运行和调试环境大多使用团队公共搭建的资源服务器，并且是多人共用，这带来一定的环境搭建和维护成本。 而ModelArts的Notebook
请求参数如表2所示。 表2 参数说明 参数 是否必选 参数类型 说明 config_desc 否 String 对训练作业的描述，默认为空，字符串的长度限制为[0，256]。 worker_server_num 是 Integer 训练作业worker的个数，最大值请从查询作业资源规格接口获取。
d Snt9B开展LLaVA-NeXT模型的训练过程，包括pretrain_clip训练和Finetune_onevision训练。 约束限制 本方案目前仅适用于企业客户。 本文档适配昇腾云ModelArts 6.3.910版本，请参考获取配套版本的软件包和镜像，请严格遵照版本配套关系使用本文档。
1-dev和FLUX.1-schnell两个版本分别使用ComfyUI 0.2.2和Diffusers 0.30.2框架的推理过程。 约束限制 本方案目前仅适用于企业客户。 本文档适配昇腾云ModelArts 6.3.909版本，请参考表1获取配套版本的软件包和镜像，请严格遵照版本配套关系使用本文档。
strings 使用这个参数的工作流节点。 format 否 String 数据格式。 constraint 否 Map<String,Object> 限制条件。 表15 WorkflowDagPolicies 参数 是否必选 参数类型 描述 use_cache 否 Boolean 是否使用缓存。
limits: huawei.com/ascend-1980: "8" # 限制卡数，key保持不变。 memory: ${limits_memory}
limits: huawei.com/ascend-1980: "8" # 限制卡数，key保持不变。 memory: ${limits_memory}
limits: huawei.com/ascend-1980: "8" # 限制卡数，key保持不变。 memory: ${limits_memory}
elArts-HuaweiCloud，用户通过简易的操作，实现在本地IDE中进行训练配置、资源监控、作业管理、代码管理等动作。 本章节介绍如何使用VS Code插件创建训练作业并调试。 使用VS Code插件创建训练作业并调试功能目前是白名单，需要提交工单申请开通。 准备工作 创
进一步确保模型在真实环境中的表现符合预期。 场景描述 您可以使用预置数据集评测已部署的模型服务，更加直观地评估模型实际的输出效果。 约束限制 仅支持评测运行中的模型服务和已领取免费额度的预置服务。 最多可以添加10个文本生成类型的模型服务。 最多可以添加10个预置评测数据集。 创建评测任务
者账户信息，按照提示输入即可。这里推荐使用Personal Access Token授权方式，如果出现密码失效报错请参考git插件密码失效如何解决？ 图10 提交代码至GitHub仓库 完成上述操作后，可以在JupyterLab的git插件页面的History页签，看到“orig
2框架的推理过程。另外，FLUX.1-schnell模型的使用方法和FLUX.1-dev一致，只需替换权重文件即可，本文以FLUX.1-schn为例。 约束限制 本方案目前仅适用于企业客户。 本文档适配昇腾云ModelArts 6.3.911版本，请参考表1获取配套版本的软件包和镜像，请严格遵照版本配套关系使用本文档。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
