检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
行工具,使用方式和docker命令基本一致,可用于后续镜像构建步骤中。 # 下载 nerdctl 工具,注意使用的是1.7.6 arm64版本 wget https://github.com/containerd/nerdctl/releases/download/v1.7.6/nerdctl-1
行工具,使用方式和docker命令基本一致,可用于后续镜像构建步骤中。 # 下载 nerdctl 工具,注意使用的是1.7.6 arm64版本 wget https://github.com/containerd/nerdctl/releases/download/v1.7.6/nerdctl-1
管理Workflow StepExecution 功能介绍 本接口支持对Workflow StepExecution进行重试、停止和继续操作。 接口约束 无 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。
更新Workflow Execution 功能介绍 通过ID更新Workflow Exectuion。 接口约束 无 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI PUT
本方案目前仅适用于部分企业客户,完成本方案的部署,需要先联系您所在企业的华为方技术支持。 约束限制 本文档适配昇腾云ModelArts 6.3.907版本,请参考表1获取配套版本的软件包,请严格遵照版本配套关系使用本文档。 本文档中的模型运行环境是ModelArts Lite DevServer。
使用ModelArts Studio的Qwen2-7B模型框架实现对话问答 仅“华东二”区域支持使用ModelArts Studio大模型即服务平台(MaaS)。 MaaS是白名单功能,如果有试用需求,请先申请权限。 场景描述 本案例用于指导用户使用ModelArts Studi
https://github.com/AUTOMATIC1111/stable-diffusion-webui.git # 切换到1.9.0版本 RUN cd /home/ma-user/sdwebui/stable-diffusion-webui && git checkout e164031
修改Workflow工作流 功能介绍 更新Workflow工作流信息。 接口约束 无 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI PUT /v2/{project
运行第一条Workflow 了解Workflow的功能与构成后,可通过订阅Workflow的方式尝试运行首条工作流,进一步了解Workflow的运行过程。 数据集准备。 订阅工作流。 运行工作流。 准备数据集 前往AI Gallery,在“资产集市>数据>数据集”页面下载常见生活垃圾图片。
荐在条件允许的前提下配套安装最新商发版本的昇腾开发套件CANN Toolkit、昇腾驱动以及torch_npu包。具体操作,请参考昇腾商用版资源下载指导。 数据集。 需要排查是否使用的训练数据集存在差异。 初始权重。 需要排查是否加载的初始权重有差异,建议加载相同的初始权重。 父主题:
本方案目前仅适用于部分企业客户,完成本方案的部署,需要先联系您所在企业的华为方技术支持。 约束限制 本文档适配昇腾云ModelArts 6.3.908版本,请参考表1获取配套版本的软件包,请严格遵照版本配套关系使用本文档。 本文档中的模型运行环境是ModelArts Lite DevServer。
安装过程预计1~2分钟,安装完成后右下角会弹出对话框,请单击“Reload Window and Open”。 本文以VS Code 1.78.2版本的操作为例,其他版本的VS Code可能不会弹出“Reload Window and Open”,请直接执行5。 图6 Reload Window
本方案目前仅适用于企业客户,完成本方案的部署,需要先联系您所在企业的华为方技术支持。 约束限制 本文档适配昇腾云ModelArts 6.3.909版本,请参考表1获取配套版本的软件包,请严格遵照版本配套关系使用本文档。 本文档中的模型运行环境是ModelArts Lite Cluster。
配而报错。 若要使用eagle投机,配置环境变量,使eagle投机对齐实验室版本实现。目前默认开启此模式,若不开启,目前vllm0.6.0版本与实验室版本权重无法对齐,会导致小模型精度问题。 export EAGLE_USE_SAFE_AI_LAB_STYLE=1 # eagle投机对基于
${container_draft_model_path}同时使用。 --use-v2-block-manager:vllm启动时使用V2版本的BlockSpaceManger来管理KVCache索引,如果不使用该功能,则无需配置。注意:如果使用投机推理功能,必须开启此参数。 -
${container_draft_model_path}同时使用。 --use-v2-block-manager:vllm启动时使用V2版本的BlockSpaceManger来管理KVCache索引,如果不使用该功能,则无需配置。注意:如果使用投机推理功能,必须开启此参数。 -
2和Diffusers 0.30.2框架的推理过程。 约束限制 本方案目前仅适用于企业客户。 本文档适配昇腾云ModelArts 6.3.909版本,请参考表1获取配套版本的软件包和镜像,请严格遵照版本配套关系使用本文档。 确保容器可以访问公网。 资源规格要求 推荐使用“西南-贵阳一”
Lite模型转换的过程,否则迁移昇腾后还是会遇到同样的问题。 AOE的自动性能调优使用上完全没有效果怎么办? 在MindSpore Lite Convertor2.1版本之前可能出现的调优不生效的场景,建议您直接使用MindSpore Lite Convertor2.1及以后的版本。配置文件指定选项进行AO
1-dev一致,只需替换权重文件即可,本文以FLUX.1-schn为例。 约束限制 本方案目前仅适用于企业客户。 本文档适配昇腾云ModelArts 6.3.911版本,请参考表1获取配套版本的软件包和镜像,请严格遵照版本配套关系使用本文档。 确保容器可以访问公网。 资源规格要求 推荐使用“西南-贵阳一”
ModelArts支持哪些AI框架? ModelArts的开发环境Notebook、训练作业、模型推理(即AI应用管理和部署上线)支持的AI框架及其版本,不同模块的呈现方式存在细微差异,各模块支持的AI框架请参见如下描述。 统一镜像列表 ModelArts提供了ARM+Ascen