检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建Workflow数据集导入节点 功能介绍 通过对ModelArts数据集能力进行封装，实现数据集的数据导入功能。数据集导入节点主要用于将指定路径下的数据导入到数据集或者标注任务中，主要应用场景如下： 适用于数据不断迭代的场景，可以将一些新增的原始数据或者已标注数据导入到标注任
SD WEBUI套件适配PyTorch NPU的推理指导（6.3.908） SD WebUI推理方案概览 在DevServer上部署SD WebUI推理服务 在Standard上部署SD WebUI推理服务 SD WebUI推理性能测试 父主题： 文生图模型训练推理
在ModelArts的Notebook中如何在代码中打印GPU使用信息？ 用户可通过shell命令或python命令查询GPU使用信息。 使用shell命令 执行nvidia-smi命令。 依赖CUDA nvcc watch -n 1 nvidia-smi 执行gpustat命令。
API/SDK 安装ModelArts SDK报错“ERROR: Could not install packages due to an OSError” ModelArts SDK下载文件目标路径设置为文件名，部署服务时报错 调用API创建训练作业，训练作业异常 用户执行huaweicloud
Notebook中快速使用MoXing 本文档介绍如何在ModelArts中调用MoXing Framework接口。 进入ModelArts，创建Notebook实例 登录ModelArts管理控制台，在左侧菜单栏中选择“开发空间>Notebook”，进入“Notebook”管理页面。
自定义镜像训练作业配置节点间SSH免密互信 当用户使用基于MPI和Horovod框架的自定义镜像进行分布式训练时，需配置训练作业节点间SSH免密互信，否则训练会失败。 配置节点间SSH免密互信涉及代码适配和训练作业参数配置，本文提供了一个操作示例。 准备一个预装OpenSSH的自
制作自定义镜像用于推理 模型的自定义镜像制作流程 在Notebook中通过镜像保存功能制作自定义镜像用于推理 在Notebook中通过Dockerfile从0制作自定义镜像用于推理 在ECS中通过Dockerfile从0制作自定义镜像用于推理 父主题： 制作自定义镜像用于ModelArts
训练作业日志中提示“No such file or directory” 问题现象 训练作业运行失败，日志中提示“No such file or directory”。 例如：找不到训练输入的数据路径时，会提示“No such file or directory”。 例如：找不到训练启动文件时，也会提示“No
访问在线服务支持的传输协议 使用WebSocket协议的方式访问在线服务 使用Server-Sent Events协议的方式访问在线服务 父主题： 将模型部署为实时推理作业
数据保护技术 ModelArts通过多种数据保护手段和特性，保障存储在ModelArts中的数据安全可靠。 数据保护手段 说明 静态数据保护 对于AI Gallery收集的用户个人信息中的敏感信息，如用户邮箱和手机号，AI Gallery在数据库中做了加密处理。其中，加密算法采用了国际通用的AES算法。
如何关闭Mox的warmup 问题现象 训练作业mox的Tensorflow版本在运行的时候，会先执行“50steps” 4次，然后才会开始正式运行。 warmup即先用一个小的学习率训练几个epoch（warmup），由于网络的参数是随机初始化的，如果一开始就采用较大的学习率会出现数值不稳定的问题，这是使用warm
ModelArts在线服务的API接口组成规则是什么？ 模型部署成在线服务后，用户可以获取API接口用于访问推理。 API接口组成规则如下： https://域名/版本/infer/服务ID 示例如下： https://6ac81cdfac4f4a30be95xxxbb682.apig
不同模型推荐的参数与NPU卡数设置 表1 不同模型推荐的参数与NPU卡数设置 模型 Template 模型参数量 训练策略类型 序列长度cutoff_len 梯度累积值 优化工具 (Deepspeed) 规格与节点数 Qwen-VL Qwen-VL 7B full 2048 gr
MoXing进阶用法的样例代码 如果您已经熟悉了常用操作，同时熟悉MoXing Framework API文档以及常用的Python编码，您可以参考本章节使用MoXing Framework的一些进阶用法。 读取完毕后将文件关闭 当读取OBS文件时，实际调用的是HTTP连接读取网
查询资源规格列表 示例代码 在ModelArts notebook平台，Session鉴权无需输入鉴权参数。其它平台的Session鉴权请参见Session鉴权。 from modelarts.session import Session from modelarts.estimatorV2
执行训练任务【旧】 前提条件 已上传训练代码、训练权重文件和数据集到SFS Turbo中。 Step1 修改训练超参配置 以llama2-13b SFT全参微调为例，执行脚本 0_pl_sft_13b.sh 。 修改模型训练脚本中的配置，参数详解可查看训练参数说明，其中【GBS、
无法导入模块 问题现象 ModelArts训练作业导入模块时日志报错： Traceback (most recent call last):File "project_dir/main.py", line 1, in <module>from module_dir import module_file
不同模型推荐的参数与NPU卡数设置 表1 不同模型推荐的参数与NPU卡数设置 模型 Template 模型参数量 训练策略类型 序列长度cutoff_len 梯度累积值 优化工具 (Deepspeed) 规格与节点数 Qwen-VL Qwen-VL 7B full 2048 gr
实例故障 创建Notebook失败，查看事件显示JupyterProcessKilled 创建Notebook实例后无法打开页面，如何处理？ 使用pip install时出现“没有空间”的错误 出现“save error”错误，可以运行代码，但是无法保存 出现ModelArts.6333错误，如何处理？
删除训练作业 示例代码 在ModelArts notebook平台，Session鉴权无需输入鉴权参数。其它平台的Session鉴权请参见Session鉴权。 方式一：根据指定的job_id删除。 from modelarts.session import Session from
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
