检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
现。当前ModelArts支持jpg、jpeg、bmp、png四种图片格式。物体检测场景支持xml标注格式,不支持“非矩形框”标注。针对您提供的数据集,MetaValidation算子支持对图片和xml文件进行数据校验: 表1 图片类数据校验 异常情况 处理方案 图片本身损坏无法解码
在线服务部署完成后,您可以单击操作列的预测,进入服务详情页的“预测”页面。 在“预测”页签,单击“上传”,上传一个测试图片,单击“预测”进行预测。此处提供一个预测样例图供使用。 步骤6:清除资源 为避免产生不必要的费用,通过此示例学习订阅算法的使用后,建议您清除相关资源,避免造成资源浪费。
进入Workflow详情,单击“配置”进行参数配置。工作流相关的配置执行操作可参考如何使用Workflow。 基于release()方法,提供了release_and_run()方法,支持用户在开发态发布并运行工作流,节省了前往console配置执行的操作。 使用该方法时需要注意以下几个事项:
为例,修改多机config.yaml模板中的${command}命令如下。多机启动需要在每个节点上执行。MASTER_ADDR为当前ssh远程主机的IP地址(私网IP)。 # 多机执行命令为:sh scripts/llama2/0_pl_pretrain_70b.sh <MASTER_ADDR=xx
为例,修改多机config.yaml模板中的${command}命令如下。多机启动需要在每个节点上执行。MASTER_ADDR为当前ssh远程主机的IP地址(私网IP)。 # 多机执行命令为:sh scripts/llama2/0_pl_pretrain_70b.sh <MASTER_ADDR=xx
为例,修改多机config.yaml模板中的${command}命令如下。多机启动需要在每个节点上执行。MASTER_ADDR为当前ssh远程主机的IP地址(私网IP)。 # 多机执行命令为:sh scripts/llama2/0_pl_pretrain_70b.sh <MASTER_ADDR=xx
创建生产环境的训练作业有2种方式: 通过ModelArts Standard控制台的方式创建生产环境的训练作业,详细操作请参考本章节以下内容。 通过ModelArts提供的API接口创建生产环境的训练作业,详细操作请参见使用API创建训练作业。 前提条件 已经将用于训练作业的数据上传至OBS目录。 已经在O
作业特性。表示用户作业使用的Spark镜像类型,默认值为basic。 basic:表示使用DLI提供的基础Spark镜像。 custom:表示使用用户自定义的Spark镜像。 ai:表示使用DLI提供的AI镜像。 --queue String 否 用于指定队列,填写已创建DLI的队列名。
指定查询的排序顺序。可选值如下: asc:递增排序 desc:递减排序(默认值) query_current 否 Boolean 是否只查询数据集版本最新的任务。可选值如下: true:只查询数据集版本最新的任务 false:查询数据集版本的所有任务(默认值) return_result 否 Boolean
用户有一些自定义的指标数据需要保存到AOM,ModelArts提供了命令方式将用户的自定义指标上报保存到AOM。 约束与限制 ModelArts以10秒/次的频率调用自定义配置中提供的命令或http接口获取指标数据。 自定义配置中提供的命令或http接口返回的指标数据文本不能大于8KB。
专属资源池的规格 本例为计算型CPU(8U)专属实例 使用量类型 按需计费专属资源池的使用量类型为“时长” 单价 按需计费模式为简单定价(使用量*单价)时提供单价信息。 按需计费专属资源池属于简单定价,您可以在ModelArts价格详情中查询单价。 单价单位 在ModelArts价格详情中查询到的单价单位:元/小时
Boolean 是否开启自动停止功能。 duration Integer 运行时长,单位为秒。 prompt Boolean 是否需要再次弹框提醒,提供给console使用。 stop_timestamp Integer 实例停止时间点, 13位时间戳。 remain_time Integer
上述torch_npu api的功能和参数描述见概述。 优化器替换 替换优化器一般都能有较大的性能受益,可以优先考虑将torch原生的优化器替换为昇腾提供的亲和优化器。下文以AdamW优化器为例,其他优化器的替换方式一致。 torch_npu.optim.NpuFusedAdamW torch原生代码示例如下:
Boolean 是否开启自动停止功能。 duration Integer 运行时长,单位为秒。 prompt Boolean 是否需要再次弹框提醒,提供给console使用。 stop_timestamp Integer 实例停止时间点, 13位时间戳。 remain_time Integer
在“未标注”页签图片列表中,单击图片,自动跳转到标注页面。在标注页面,常用按钮的使用可参见表4。 选择标注方式。 在标注页面,上方工具栏提供了常用的表3及表4,系统默认的标注方式为多边形标注。选择多边形标注或极点标注。 标注第一张图片时,一旦选择其中一种,其他所有图片都需要使用此方式进行标注。
return sample 支持的是预训练数据风格,会根据参数args.json_keys的设置,从数据集中找到对应关键字的文本内容。例如本案例中提供的 train-00000-of-00001-a09b74b3ef9c3b56.parquet 预训练数据集的关键字为“text”,格式如下:
return sample 支持的是预训练数据风格,会根据参数args.json_keys的设置,从数据集中找到对应关键字的文本内容。例如本案例中提供的 train-00000-of-00001-a09b74b3ef9c3b56.parquet 预训练数据集的关键字为“text”,格式如下:
return sample 支持的是预训练数据风格,会根据参数args.json_keys的设置,从数据集中找到对应关键字的文本内容。例如本案例中提供的 train-00000-of-00001-a09b74b3ef9c3b56.parquet 预训练数据集的关键字为“text”,格式如下:
return sample 支持的是预训练数据风格,会根据参数args.json_keys的设置,从数据集中找到对应关键字的文本内容。例如本案例中提供的 train-00000-of-00001-a09b74b3ef9c3b56.parquet 预训练数据集的关键字为“text”,格式如下:
return sample 支持的是预训练数据风格,会根据参数args.json_keys的设置,从数据集中找到对应关键字的文本内容。例如本案例中提供的 train-00000-of-00001-a09b74b3ef9c3b56.parquet 预训练数据集的关键字为“text”,格式如下: