检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
exists('obs://bucket_name/sub_dir_0/sub_dir_1') 由于OBS允许同名的文件和文件夹（Unix操作系统不允许），如果存在同名的文件和文件夹，例如“obs://bucket_name/sub_dir_0/abc”，当调用mox.file.e
String 存储类型。当前支持“obs”、“obsfs” 和“evs”，其中，obsfs类型当前仅支持部分专属资源池。若您需要挂载OBS并行文件系统，请提工单。 location Object 存储位置，如果type为“obs”类型，该参数必须填写，如表16所示数据结构，如缺省值为“NULL”。
return json.loads(os.getenv(ENV_AG_USER_PARAMS)) def _process_input_data(image_processor): # 加载数据集 dataset_path = os.getenv(ENV_AG_DATASET_DIR)
r_location为必填参数。Image镜像制作规范可参见创建模型的自定义镜像规范。 runtime 否 String 模型运行时环境，系统默认使用python2.7。runtime可选值与model_type相关，当model_type设置为Image时，不需要设置runti
swr_path String SWR镜像地址。 tag String 镜像Tag。 type String 镜像类型。枚举值如下： BUILD_IN：系统内置镜像。 DEDICATED：用户保存的镜像。 update_at Long 镜像最后更新的时间，UTC毫秒。 visibility String
cn-southwest-2.myhuaweicloud.com/os-public-repo/bert_pretrain_mindspore:v1 docker tag swr.cn-southwest-2.myhuaweicloud.com/os-public-repo/bert_pretrain_mindspore:v1
LogDir 参数 参数类型 描述 pfs PFSSummary object obs并行文件系统输出。 表29 PFSSummary 参数 参数类型 描述 pfs_path String obs并行文件系统路径url。 表30 DataSource 参数 参数类型 描述 job JobSummary
文件，OBS接口不支持直接调用，需要分多个线程分段复制，目前OBS侧服务端超时时间是30S，可以通过如下设置减少进程数。 # 设置进程数 os.environ['MOX_FILE_LARGE_FILE_TASK_NUM']=1 import moxing as mox # 复制文件
inf_cluster_id String 专属集群ID，默认为空，不使用专属集群；使用专属集群部署服务时需确保集群状态正常；配置此参数后，则使用集群的网络配置，vpc_id参数不生效。 inf_config_list Array of InfConfig objects 运行推理任务需要的配置列表，可选填，默认为空。
境变量HUAWEICLOUD_SDK_AK和HUAWEICLOUD_SDK_SK。 __AK = os.environ["HUAWEICLOUD_SDK_AK"] __SK = os.environ["HUAWEICLOUD_SDK_SK"] # 如果进行了加密还需要进行解密操作
在“数据处理”页面，单击“创建”进入“创建数据处理”页面。 在创建数据处理页面，填写相关算法参数。 填写基本信息。基本信息包括“名称”、“版本”和“描述”。其中“版本”信息由系统自动生成，按“V0001”、“V0002”规则命名，用户无法修改。 您可以根据实际情况填写“名称”和“描述”信息。 图1 创建数据处理基本信息
swr_path String SWR镜像地址。 tag String 镜像Tag。 type String 镜像类型。枚举值如下： BUILD_IN：系统内置镜像。 DEDICATED：用户保存的镜像。 update_at Long 镜像最后更新的时间，UTC毫秒。 visibility String
Schema信息表示表格的列名和对应类型，需要跟导入数据的列数保持一致。 如果您的原始表格中已包含表头，需要开启“导入是否包含表头”开关，系统会导入文件的第一行（表头）作为列名，无需再手动修改Schema信息。 如果您的原始表格中没有表头，需关闭“导入是否包含表头”开关，从OBS
训练作业启动前下载数据、模型、代码。 训练作业运行中上传日志、模型。 建议配置。 操作步骤 本案例场景为单机单卡场景下创建训练作业，数据和代码存储在OBS服务的并行文件系统下，创建自定义镜像训练作业。 使用主用户账号登录管理控制台，单击右上角用户名，在下拉框中选择“统一身份认证”，进入统一身份认证（IAM）服务。
请求参数 无 响应参数 状态码：200 表2 响应Body参数 参数 参数类型 描述 apiVersion String 资源版本。可选值如下： os.modelarts.xxxxx/v2 kind String 资源类型。可选值如下： PoolMetricsList items Array
swr_location”来指定您的镜像位置。 制作自定义镜像的操作指导及规范要求，请参见模型镜像规范。 说明： 您选择的模型镜像将共享给系统管理员，请确保具备共享该镜像的权限（不支持导入其他账户共享给您的镜像），部署上线时，ModelArts将使用该镜像部署成推理服务，请确保您的镜像能正常启动并提供推理接口。
ModelArts_Market update_user 日志 出于分析或审计等目的，用户可以开启ModelArts的日志记录功能。在您开启了云审计服务后，系统会记录ModelArts的相关操作，且控制台保存最近7天的操作记录。本节介绍如何在云审计服务管理控制台查看最近7天的操作记录。 对接云审计服务的配置方法请参见查看审计日志章节。
/user-job-dir/code/train.py 使用Ascend自定义镜像训练时的训练代码适配规范 使用NPU资源创建训练作业时，系统会在训练容器里自动生成Ascend HCCL RANK_TABLE_FILE文件。当使用预置框架创建训练作业时，在训练过程中预置框架会自动解析Ascend
py并将此脚本作为“启动文件”。这样启动的作业将会持续运行60分钟。您可通过Cloud Shell进入容器进行调试。 sleep.py示例： import os os.system('sleep 60m') 图4 预置框架启动方式 如果训练作业使用的是自定义镜像 在创建训练作业时，“创建方式”选择“自
String 存储类型，当前支持“obs”、“obsfs” 和“evs”，其中，obsfs类型当前仅支持部分专属资源池。若您需要挂载OBS并行文件系统，请提工单。 location 否 Object 存储位置，如果type为“obs”类型，该参数必须填写，如表15所示数据结构，如缺省值为“NULL”。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
