检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
/home/work/user-job-dir/app/train.py {python_file_parameter}”。需要调用通过启动脚本run_train.sh进行变量的初始化,如AK/SK。run_train.sh后跟python是保证python文件能在已经初始化的变量环境下执行,即使用run_train
根据样本名称搜索(含后缀名)。 sample_time 否 String 样本加入到数据集时,会根据样本在OBS上的最后修改时间(精确到天)建立索引,此处可以根据此时间进行搜索。可选值如下: month:搜索往前30天至今天内添加的样本 day:搜索昨天(往前1天)至今天内添加的样本 yyyyMMdd-yyy
object 节点池的状态信息。 表4 NodePoolMetadata 参数 参数类型 描述 name String 节点池名称。用户可进行指定,若未指定将会使用默认名称。 表5 NodePoolSpec 参数 参数类型 描述 resources PoolResource object
根据样本名称搜索(含后缀名)。 sample_time String 样本加入到数据集时,会根据样本在OBS上的最后修改时间(精确到天)建立索引,此处可以根据此时间进行搜索。可选值如下: month:搜索往前30天至今天内添加的样本 day:搜索昨天(往前1天)至今天内添加的样本 yyyyMMdd-yyy
cd /home/ma-user/ws mkdir -p tokenizers/Llama2-70B 注意:多机情况下,只有在rank_0节点进行数据预处理,转换权重等工作,所以原始数据集和原始权重,包括保存结果路径,都应该在共享目录下。 父主题: 准备工作
ger/labeler/reviewer可见任务列表,但任务未分配完成,无法同时再启动任务。 1:运行中。labeler/reviewer进行标注和审核工作,owner验收,如新增、同步智能标注、导入未标注文件需再次分发新增文件。 2:验收中。owner发起验收任务,但并未完成验
Open-Clip基于DevServer适配PyTorch NPU训练指导 Open-Clip广泛应用于AIGC和多模态视频编码器的训练。 方案概览 本方案介绍了在ModelArts的DevServer上使用昇腾NPU计算资源开展Open-clip训练的详细过程。完成本方案的部署
推理专属预置镜像列表 ModelArts的推理平台提供了一系列的基础镜像,用户可以基于这些基础镜像构建自定义镜像,用于部署推理服务。 X86架构(CPU/GPU)的推理基础镜像 表1 TensorFlow AI引擎版本 支持的运行环境 镜像名称 URI 2.1.0 CPU GPU(cuda10
ger/labeler/reviewer可见任务列表,但任务未分配完成,无法同时再启动任务。 1:运行中。labeler/reviewer进行标注和审核工作,owner验收,如新增、同步智能标注、导入未标注文件需再次分发新增文件。 2:验收中。owner发起验收任务,但并未完成验
固定shape模型转换可以不填,动态模型转换必填。 --output_path 指定结果输出路径。 string 否 默认为当前目录下。 - --aoe 是否在转换时进行AOE优化。 bool 否 False AOE优化可以提升模型性能,但不是一定有提升,需要注意开启AOE,会导致模型转换耗时极大延长。 --accuracy
运行态配置 调用工作流对象的release方法将工作流发布到运行态,在ModelArts管理控制台,单击Workflow找到相应的工作流进行根路径配置,如下所示: 图2 根目录配置 父主题: 开发Workflow命令参考
根据样本名称搜索(含后缀名)。 sample_time String 样本加入到数据集时,会根据样本在OBS上的最后修改时间(精确到天)建立索引,此处可以根据此时间进行搜索。可选值如下: month:搜索往前30天至今天内添加的样本 day:搜索昨天(往前1天)至今天内添加的样本 yyyyMMdd-yyy
ModelArts支持哪些AI框架? ModelArts的开发环境Notebook、训练作业、模型推理(即AI应用管理和部署上线)支持的AI框架及其版本,不同模块的呈现方式存在细微差异,各模块支持的AI框架请参见如下描述。 统一镜像列表 ModelArts提供了ARM+Ascen
Standard支持的AI框架 ModelArts Standard的开发环境Notebook、训练作业、模型推理(即AI应用管理和部署上线)支持的AI框架及其版本,请参见如下描述。 统一镜像列表 ModelArts提供了ARM+Ascend规格的统一镜像,包括MindSpore
代码本身逻辑(如长时间sleep)导致的卡死,请忽略。 如果对于误检有疑问或者卡死问题无法自行解决,您可以前往ModelArts开发者论坛进行提问或者搜索问题。 约束限制 卡死检测仅支持资源类型为GPU和NPU的训练作业。 操作步骤 卡死检测无需额外配置,作业运行中会自动执行检测
prompt 否 Boolean 是否需要再次提醒,该参数提供给前台console,用于让console判断是否需要再次弹出弹出框对用户进行提醒,默认是true。 响应消息 响应参数如表5所示。 表5 响应参数 参数 参数类型 说明 id String 实例ID。 name String
positive ModelArts text classfication 1.0:文本和标注分离,文本分类的标注对象和标注文件均为文本文件,并且以行数进行对应,如标注文件中的第一行表示的是标注对象文件中的第一行的标注。 例如,标注对象“COMMENTS_20180919_114745.txt”的内容如下所示。
data): preprocessed_data = {} images = [] # 对输入数据进行迭代 for k, v in data.items(): for file_name, file_content
以PyTorch框架创建训练作业(新版训练) 本节通过调用一系列API,以训练模型为例介绍ModelArts API的使用流程。 概述 使用PyTorch框架创建训练作业的流程如下: 调用认证鉴权接口获取用户Token,在后续的请求中需要将Token放到请求消息头中作为认证。 调