检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
# 推理工具 工作目录介绍 详细的工作目录参考如下,建议参考以下要求设置工作目录。训练脚本以分类的方式集中在scripts文件夹中。 ${workdir}(例如/home/ma-user/ws ) |──llm_train
access_modes 否 String 挂载文件的访问权限,支持读写和只读两种方式,仅type为“obsfs”类型,该字段有效。可选值: ReadOnlyMany:只读方式 ReadWriteMany:读写方式(默认值) 表6 auto_stop定义数据结构说明 参数 是否必选 参数类型
String 数据输入类型,包括数据存储位置、数据集两种方式。 attributes String 数据输入为数据集时的相关属性。 枚举值: data_format:数据格式。 data_segmentation:数据切分方式。 dataset_type:标注类型。 表23 Output
obs://your_bucket/YOLOX/ /mnt/sfs_turbo/code/ -f -r 本案例中以obsutils方式上传文件,除此之外也可通过SCP方式上传文件,具体操作步骤可参考本地Linux主机使用SCP上传文件到Linux云服务器。 在SFS中将文件设置归属为ma-user。
在复现前先进行模型裁剪,例如第一优先级是缩小DP、将模型转为单机训练等,这样会大大降低后续定位的难度。 根据精度问题现象可以选择合适的定位方式,Msprobe是MindStudio Training Tools工具链下精度调试部分的工具包,主要包括精度预检、溢出检测和精度比对等功
请参考新版训练指导文档(模型训练)来体验新版训练。 旧版训练迁移至新版训练需要注意哪些问题? 新版训练和旧版训练的差异主要体现在以下3点。 新旧版创建训练作业方式差异 新旧版训练代码适配的差异 新旧版训练预置引擎差异 父主题: 下线公告
权限”,单击右上角的“创建自定义策略”,设置策略。 添加开发环境使用权限。 “策略名称”:设置自定义策略名称,例如:notebook。 “策略配置方式”:选择JSON视图。 “策略内容”:填入如下内容。 { "Version": "1.1", "Statement": [
目录中的文件创建训练作业。如果选择通过OBS目录的方式创建训练作业,用户需要将数据集中准备好的数据导出到OBS中。 导出数据到OBS 在数据集详情页面中,选中需要导出的数据或筛选出需要导出的数据,然后单击右上角“导出”。 导出方式选择“OBS”,填写相关信息,然后单击“确定”,开始执行导出操作。
工作空间ID。获取方法请参见查询工作空间列表。未创建工作空间时默认值为“0”,存在创建并使用的工作空间,以实际取值为准。 search_type 否 String 过滤方式。可选值如下: equal表示精确匹配。 contain表示模糊匹配。 具体过滤的字段,由各个接口额外定义参数。例如Workflow支持按
参数 参数类型 描述 peerConnectionList Array of peerConnectionList objects Peer方式打通网络列表。 表11 peerConnectionList 参数 参数类型 描述 peerVpcId String 对端的VPC ID。
购买Server资源时,需要选择虚拟私有云用于网络通信,您可以使用已有的虚拟私有云或新创建的虚拟私有云。 若使用密钥对作为登录裸金属服务器的鉴权方式,您可以使用已有的密钥对或新创建的密钥对。 在ModelArts控制台购买Server资源。 资源配置 完成资源购买后,需要对网络、存储、软件环境进行相关配置。
String 数据输入类型,包括数据存储位置、数据集两种方式。 attributes String 数据输入为数据集时的相关属性。枚举值: data_format 数据格式; data_segmentation 数据切分方式; dataset_type 标注类型。 表22 Output
使用免费模型 订阅成功的模型可在ModelArts或HiLens等管理控制台使用,支持模型部署或安装等。 将订阅成功的模型推送至应用控制台。 方式一:从模型详情页进入管理控制台 在模型详情页单击“前往控制台”。 如果订阅的是ModelArts模型,在弹出的“选择云服务区域”页面选择M
查询到当前用户名下的所有算法排序依赖字段。 order String 查询到当前用户名下的所有算法排序方式,默认为“desc”,降序排序。也可以选择对应的“asc”,升序排序。 group_by String 查询到当前用户名下的所有算法分组方式。 items Array of AlgorithmResponse
String 数据输入类型,包括数据存储位置、数据集两种方式。 attributes String 数据输入为数据集时的相关属性。枚举值: data_format 数据格式; data_segmentation 数据切分方式; dataset_type 标注类型。 表23 Output
据,或者输出至OBS服务指定路径,输入和输出数据需要配置3个地方: 训练代码中需解析输入路径参数和输出路径参数。ModelArts推荐以下方式实现参数解析。 1 2 3 4 5 6 7 8 9 10 import argparse # 创建解析 parser =
单击“Prometheus”,进入Prometheus配置页面。 图4 进入Prometheus配置页面 参考下图进行配置。 图5 配置Grafana数据源 Grafana安装方式不同,Grafana版本也可能不同,图5仅为示例,请以实际配置界面为准。 表1 参数配置说明 参数名称 配置说明 Name 自定义名称。 URL
下主要能力: 解决用户获取数据的问题。 用户可在AI Gallery上一键下载需要的数据资源到ModelArts数据集。 提供多种数据接入方式,支持用户从OBS,MRS,DLI以及DWS等服务导入用户的数据。 提供18+数据增强算子,帮助用户扩增数据,增加训练用的数据量。 帮助用户提高数据的质量。
可以直接使用PyTorch的表达层来运行在NPU设备上。 当前提供了自动迁移工具进行GPU到昇腾适配,原理是通过monkey-patch的方式将torch下的CUDA、nccl等操作映射为NPU和hccl对应的操作。如果没有用到GPU的高阶能力,例如自定义算子、直接操作GPU显存
其逐个删除。具体操作如下: 对于Notebook,可使用资源ID查找资源。具体方法如下: 使用公共资源池创建的Notebook实例,通过此方式删除实例后,即可停止计算资源计费。 使用专属资源池创建的Notebook实例,需删除对应的专属资源池。删除后,即可停止计算资源计费。 在运