检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
同步数据集 功能介绍 从数据集输入位置同步数据至数据集,包含样本及标注信息。文本类数据集不支持此操作。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /v
Profiling数据采集 在train.py的main()函数Step迭代处添加配置,添加位置如下图所示: 此处需要注意的是prof.step()需要加到dataloder迭代循环的内部以保证采集单个Step迭代的Profiling数据。 更多信息,请参见Ascend PyTorch
“目标区域”:选择您需要将该数据集下载到的区域位置,如“华北-北京四”。 “数据类型”:选择需要处理的文件类型。数据类型更多信息请参考数据集的类型。 “数据集输出位置”:数据集输出位置的OBS路径,此位置会存放输出的标注信息等文件,此位置不能和OBS数据源中的文件路径相同或为其子目录。 “数据集输入位置”:AI G
如何在ModelArts上获得RANK_TABLE_FILE进行分布式训练? ModelArts会帮用户生成RANK_TABLE_FILE文件,可通过环境变量查看文件位置。 在Notebook中打开terminal,可以运行如下命令查看RANK_TABLE_FILE: 1 env | grep RANK
ModelArts支持调用shell脚本,可以使用python调用“.sh”。具体操作步骤如下: 上传“.sh”脚本至OBS桶,例如“.sh”所在存储位置为 “ /bucket-name/code/test.sh”。 在本地创建“.py”文件,例如“test.py”。由于后台会自动将代码目录
执行ma-cli dli-job submit命令提交DLI Spark作业。 ma-cli dli-job submit命令需要指定一个位置参数YAML_FILE表示作业的配置文件路径,如果不指定该参数,则表示配置文件为空。配置文件是一个YAML格式的文件,里面的参数就是命令的
Gallery上下载数据创建数据集。选择“AI Gallery”并选中列表中的一个资产。 下载至OBS桶位置(数据集输入位置):选择一个空目录用来存储下载的数据集。 数据集输出位置:数据集输出位置的OBS路径,此位置会存放输出的标注信息等文件,此位置不能和OBS数据源中的文件路径相同或为其子目录,请确保您的OBS文件名称以字母、数字或下划线命名。
model_name String 模型名称。 model_usage Integer 模型用途。 1代表图像分类 2代表检测物体的类别和位置 3代表图像语义分割 4代表自然语言处理 5图嵌入 model_precision String 模型精度描述。 model_size Long
您可以单击编辑按钮,添加服务描述。 输入数据目录位置 本次批量服务中,输入数据的OBS路径。 输出数据目录位置 本次批量服务中,输出数据的OBS路径。 模型名称&版本 本次批量服务所使用的模型名称及版本。 运行日志输出 默认关闭,批量服务的运行日志仅存放在ModelArts日志系统。 启用运
数据存储位置 单击“数据存储位置”,从OBS桶中选择训练输出数据的存储位置。文件总大小要小于或等于1GB,文件数要小于或等于128个,单个文件大小要小于或等于128MB。 训练过程中,系统将自动从训练容器的本地代码目录下同步文件到数据存储位置。 说明: 数据存储位置仅支持OBS
单击状态为“运行完成”的目标服务名称,进入服务详情页面。 您可以查看服务的“名称”、“状态”、“服务ID”、“输入数据目录位置”、“输出数据目录位置”和“描述”。 您也可以通过单击描述右侧的,对描述信息进行编辑。 从“输出数据目录位置”参数右侧获取详细OBS地址,前往此OBS目录,可以获取批量服务预测结果,包括预测结果文件和模型预测结果。
致数据无法复制至容器中。 OSError:[Errno 28] No space left on device 原因分析 数据下载至容器的位置空间不足。 处理方法 请排查是否将数据下载至“/cache”目录下,GPU规格资源的每个节点会有一个“/cache”目录,空间大小为4TB
在OBS桶里的,模型支持下载到本地。 在训练作业列表找到需要下载模型的训练作业,单击名称进入详情页,获取训练输出路径。 图1 获取训练输出位置 单击“输出路径”,跳转至OBS对象路径,下载训练得到的模型。 在本地环境进行离线部署。 具体请参见模型调试章节在本地导入模型,参见服务调试章节,将模型离线部署在本地并使用。
享的模型,订阅后的模型,可推送至ModelArts模型管理中,进行统一管理。 订阅模型与云服务订阅模型的区别: 在管理控制台,模型管理所在位置不同。订阅模型统一管理在“模型管理>订阅模型”页面中,而云服务订阅模型管理在“模型管理>云服务订阅模型”页面中。 模型来源不同。订阅模型,模型来源于AI
航栏中选择“模型训练 > 训练作业”,进入“训练作业”列表。 在训练作业列表中,单击目标训练作业名称,查看该作业的详情。 在左侧获取“输出位置”下的路径,即为训练模型的下载路径。 模型迁移到其他账号 您可以通过如下两种方式将训练的模型迁移到其他账号。 将训练好的模型下载至本地后,上传至目标账号对应区域的OBS桶中。
Controlnet训练 使用文本提示词可以生成一副精美的画作,然而无论再怎么精细地使用提示词来指导模型,也无法描述清楚人物四肢的角度、背景中物体的位置、光线照射的角度,使用Controlnet可以通过图像特征来为扩散模型的生成过程提供更加精细控制的方式。 将Controlnet适配到昇腾
管理AI Gallery镜像 编辑镜像介绍 资产发布上架后,准确、完整的资产介绍有助于提升资产的排序位置和访问量,能更好的支撑用户使用该资产。 在镜像详情页,选择“镜像介绍”页签,单击右侧“编辑介绍”。 编辑镜像基础设置和镜像描述。 表1 镜像介绍的参数说明 参数名称 说明 基础设置
选择的云服务区域保持一致。 数据类型:图片。 数据集输入位置:用来存放源数据集信息,例如本案例中从Gallery下载的数据集。单击图标选择您的OBS桶下的任意一处目录,但不能与输出位置为同一目录。 数据集输出位置:用来存放输出的数据标注的相关信息,或版本发布生成的Manifest
本案例使用的数据集,系统匹配为“图片”类型。 数据集输入位置:用来存放源数据集信息,例如本案例中从Gallery下载的数据集。单击图标选择您的OBS桶下的任意一处目录,但不能与输出位置为同一目录。 数据集输出位置:用来存放输出的数据标注的相关信息,或版本发布生成的Manifest
本案例使用的数据集,系统匹配为“图片”类型。 数据集输入位置:用来存放源数据集信息,例如本案例中从Gallery下载的数据集。单击图标选择您的OBS桶下的任意一处目录,但不能与输出位置为同一目录。 数据集输出位置:用来存放输出的数据标注的相关信息,或版本发布生成的Manifest