检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
动态挂载产生的事件列表 事件名称 事件描述 事件级别 DynamicMountStorage 挂载OBS存储 重要 DynamicUnmountStorage 卸载OBS存储 重要 表7 用户侧触发的事件 事件名称 事件描述 事件级别 RefreshCredentialsFailed
在notebook中使用performance advisor插件进行性能分析,源数据选择OBS并指定profiling所在的OBS路径。
以换行符作为分隔符,每行数据代表一个标注对象。 文本分类目前只支持中文。 父主题: 准备数据
在AI Gallery中下载数据集时,不管是下载至OBS还是下载至数据集,均需设置对应的使用区域。支持的区域与ModelArts相同,包含华北-北京一、华北-北京四、华东-上一、华南-广州(以界面上实际支持的区域为准)。 父主题: AI Gallery
创建一个空数据集C,即无任何输出,其输入位置选择一个空的OBS文件夹。 在数据集C中,执行导入数据操作,将数据集A和数据集B的Manifest文件导入。 导入完成后,即将数据集A和数据集B的数据分别都合并至数据集C中。如需使用合并后的数据集,再针对数据集C执行发布操作即可。
mindspore.communication import init, get_rank, get_group_size init() rank_id = get_rank() # 仅让0号卡进行数据下载 if rank_id % 8 == 0: mox.file.copy_parallel('obs
sample_time String 样本加入到数据集时,会根据样本在OBS上的最后修改时间(精确到天)建立索引,此处可以根据此时间进行搜索。
sample_time String 样本加入到数据集时,会根据样本在OBS上的最后修改时间(精确到天)建立索引,此处可以根据此时间进行搜索。
job_start_file = "jobstart_hccl.json" # job_start_file_path 路径默认为 "/user/config/jobstart_hccl.json" job_start_file_path = rank_table_file_path.rsplit
job_start_file = "jobstart_hccl.json" # job_start_file_path 路径默认为 "/user/config/jobstart_hccl.json" job_start_file_path = rank_table_file_path.rsplit
dest_path String 批量任务输出结果的OBS路径。例如:“https://xxx.obs.myhwclouds.com/res/”。 instance_count Integer 模型部署的实例数。
在Notebook中调用SDK,可直接参考接口说明,执行OBS管理、作业管理、模型管理和服务管理等操作。 ModelArts SDK支持在本地安装配置使用。使用时,需进行Session鉴权。 本地安装SDK。
举例,如果用户需要用OBS中的数据进行训练,当已经为IAM用户配置ModelArts训练权限时,仍需同时为其配置对应的OBS权限(读、写、列表),才可以正常使用。
对于文件类型的资产,AI Gallery会将资产保存在AI Gallery官方的OBS桶内。 对于镜像类型的资产,AI Gallery会将资产保存在AI Gallery官方的SWR仓库内。 对于用户提供的一些个人信息,AI Gallery会保存在数据库中。
支持创建新版本 创建新版本,仅支持从ModelArts训练作业、OBS、模型模板、或自定义镜像中选择元模型。无法从原自动学习项目中,创建新版本。 支持删除模型或其模型版本 父主题: 使用窍门
选择多挂载时请勿设置存在冲突的挂载路径如相同路径或相似路径如/obs-mount/与/obs-mount/tmp/等。 选择SFS Turbo存储挂载后,请勿删除已经打通的VPC或解除SFS Turbo关联,否则会导致挂载功能无法使用。
10, "annotated_sample_count" : 10, "total_sub_sample_count" : 0, "annotated_sub_sample_count" : 0, "manifest_path" : "/test-obs
}, { "op" : "replace", "path" : "/config/0/additional_properties", "value" : { "persistent_volumes" : [ { "storage_type" : "obs_pfs
委托授权 为了完成AI计算的各种操作,ModelArts在AI计算任务执行过程中需要访问用户的其他服务,例如训练过程中,需要访问OBS读取用户的训练数据。在这个过程中,就出现了ModelArts“代表”用户去访问其他云服务的情形。
输入数据目录位置 本次批量服务中,输入数据的OBS路径。 输出数据目录位置 本次批量服务中,输出数据的OBS路径。 模型名称&版本 本次批量服务所使用的模型名称及版本。 运行日志输出 默认关闭,批量服务的运行日志仅存放在ModelArts日志系统。