检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
local path and OBS ma-cli image build .ma/customize_from_ubuntu_18.04_to_modelarts/Dockerfile --target ./build.tar --obs_path obs://bucket/object
AI框架,如果MindSpore要进行多机分布式训练调试,则每台机器上都必须有8张卡。 本文档提供的调测代码中涉及到的OBS路径,请用户替换为自己的实际OBS路径。 本文档提供的调测代码是以PyTorch为例编写的,不同的AI框架之间,整体流程是完全相同的,只需要修改个别的参数即可。
操作步骤 打开ModelArts Notebook。 选中Notebook文件(ipynb文件),创建定时任务。 图1 打开Notebook Jobs 在Create Job界面,填写参数后单击“create”。 图2 创建定时任务参数填写 Job name:定时任务名称。 Enviro
重要 EVSSoldOut EVS存储售罄 紧急 表6 OBS动态挂载产生的事件列表 事件名称 事件描述 事件级别 DynamicMountStorage 挂载OBS存储 重要 DynamicUnmountStorage 卸载OBS存储 重要 表7 用户侧触发的事件 事件名称 事件描述
Cluster中的RANK_TABLE_FILE实际名称为 jobstart_hccl.json job_start_file = "jobstart_hccl.json" # job_start_file_path 路径默认为 "/user/config/jobstart_hccl.json"
Cluster中的RANK_TABLE_FILE实际名称为 jobstart_hccl.json job_start_file = "jobstart_hccl.json" # job_start_file_path 路径默认为 "/user/config/jobstart_hccl.json"
查询数据集的统计信息 功能介绍 查询数据集的统计信息。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v2/{project_id}/datasets/{
取值为auto。 model_id String 模型ID。 src_path String 批量任务输入数据的OBS路径,例如:“https://xxx.obs.myhwclouds.com/image/”。 req_uri String 批量任务中调用的推理路径,例如:“/”。
在Terminal或ipynb文件中直接调用ModelArts SDK的接口。在Notebook中调用SDK,可直接参考接口说明,执行OBS管理、作业管理、模型管理和服务管理等操作。 ModelArts SDK支持在本地安装配置使用。使用时,需进行Session鉴权。 本地安装
出现误标情况。 文本分类对数据集的要求 文件格式要求为txt或者csv,文件大小不能超过8MB。 以换行符作为分隔符,每行数据代表一个标注对象。 文本分类目前只支持中文。 父主题: 准备数据
通过AK/SK认证的方式访问在线服务 如果在线服务的状态处于“运行中”,则表示在线服务已部署成功。部署成功的在线服务,将为用户提供一个可调用的API,此API为标准Restful API。用户可以通过AK/SK签名认证方式调用API。 使用AK/SK认证时,您可以通过APIG SDK访问,也可以通过ModelArts
发布后可获得数据集A和数据集B的Manifest文件。可通过数据集的“数据集输出位置”获得此文件。 创建一个空数据集C,即无任何输出,其输入位置选择一个空的OBS文件夹。 在数据集C中,执行导入数据操作,将数据集A和数据集B的Manifest文件导入。 导入完成后,即将数据集A和数据集B的数据分别都
查询团队标注任务统计信息 功能介绍 查询团队标注任务统计信息。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v2/{project_id}/datase
offset 否 Integer 分页列表的起始页,默认为0。 process_parameter 否 String 图像缩略设置,同OBS缩略图设置,详见OBS缩略图设置。如:image/resize,m_lfit,h_200表示等比缩放目标缩略图并设置高度为200像素。 sample_state
前提条件 在“我的模型”页面存在已创建成功的模型。 已准备好训练数据集,并存放于OBS桶中,OBS桶必须和MaaS服务在同一个Region下。 当需要永久保存日志时,需要准备好存放日志的OBS路径,OBS桶必须和MaaS服务在同一个Region下。 创建调优任务 登录ModelArts管理控制台。
支持发布至市场 将产生的模型发布至AI Gallery,共享给其他用户。 支持创建新版本 创建新版本,仅支持从ModelArts训练作业、OBS、模型模板、或自定义镜像中选择元模型。无法从原自动学习项目中,创建新版本。 支持删除模型或其模型版本 父主题: 使用窍门
get_rank() # 仅让0号卡进行数据下载 if rank_id % 8 == 0: mox.file.copy_parallel('obs://bucket-name/dir1/dir2/', '/cache') 建议与总结 在创建训练作业前,推荐您先使用ModelArts开
Qwen2-72B √ x Qwen2-72B-1K √ x 前提条件 在“我的模型”页面存在已创建成功的模型。 已准备好用于存放压缩后模型权重文件的OBS桶,OBS桶必须和MaaS服务在同一个Region下。 创建压缩任务 登录ModelArts管理控制台。 在左侧导航栏中,选择“ModelArts
户可以顺利完成某些ModelArts操作。 举例,如果用户需要用OBS中的数据进行训练,当已经为IAM用户配置ModelArts训练权限时,仍需同时为其配置对应的OBS权限(读、写、列表),才可以正常使用。其中OBS的列表权限用于支持用户从ModelArts界面上选择要进行训练的
Gallery中的资产,AI Gallery会做统一的保存管理。 对于文件类型的资产,AI Gallery会将资产保存在AI Gallery官方的OBS桶内。 对于镜像类型的资产,AI Gallery会将资产保存在AI Gallery官方的SWR仓库内。 对于用户提供的一些个人信息,AI