检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
更新Notebook实例 删除Notebook实例 通过运行的实例保存成容器镜像 查询Notebook支持的有效规格列表 查询Notebook支持的可切换规格列表 查询运行中的Notebook可用时长 Notebook时长续约 启动Notebook实例 停止Notebook实例 获取动态挂载OBS实例信息列表
Boolean 请求是否成功。 error_message String 调用失败时的错误信息。 调用成功时无此字段。 error_code String 调用失败时的错误码,具体请参见错误码。调用成功时无此字段。 model_total_count Integer 模型的数量。 models
ubuntu-18.04 cuda-11.1 python-3.7.13 openmpi-3.0.0 操作流程 使用自定义镜像创建训练作业时,需要您熟悉docker软件的使用,并具备一定的开发经验。详细步骤如下所示: 前提条件 Step1 创建OBS桶和文件夹 Step2 准备脚本文件并上传至OBS中
ubuntu-18.04 cuda-11.1 python-3.7.13 openmpi-3.0.0 操作流程 使用自定义镜像创建训练作业时,需要您熟悉docker软件的使用,并具备一定的开发经验。详细步骤如下所示: 前提条件 Step1 创建OBS桶和文件夹 Step2 准备脚本文件并上传至OBS中
|── finetune # 微调加载的数据 |──converted_weights # HuggingFace格式转换megatron格式后权重文件 |── saved_dir_for_output # 训练输出保存权重,目录结构会自动生成,无需用户创建
index为-1时忽略此参数。 表4 update_service_config返回参数说明 参数 是否必选 参数类型 描述 error_code 是 String 调用失败时,的错误码。 调用成功时,无此字段。 error_msg 是 String 调用失败时,错误信息。 调用成功时,无此字段。
镜像名称。 打印如下信息,表示构建镜像成功。 图3 成功构建镜像 如果推理需要使用NPU加速图片预处理,适配了llava-1.5模型,启动时需要设置export ENABLE_USE_DVPP=1,需要安装torchvision_npu,可放到镜像制作脚本./AscendClou
调用mox.file.copy_parallel复制数据时卡死。 解决方案 复制文件和文件夹均可采用: import moxing as mox mox.file.set_auth(is_secure=False) 复制单个大文件5G以上时可采用: from moxing.framework
创建模型时,从OBS中导入已有的模型文件。 创建OBS操作步骤 登录OBS管理控制台,在桶列表页面右上角单击“创建桶”,创建OBS桶。 图2 创建桶 创建桶的区域需要与ModelArts所在的区域一致。例如:当前ModelArts在华北-北京四区域,在对象存储服务创建桶时,请选择华北-北京四。
04内核自动升级? 哪里可以了解Atlas800训练服务器硬件相关内容 使用GPU A系列裸金属服务器有哪些注意事项? GPU A系列裸金属服务器如何更换NVIDIA和CUDA?
Tensorflow分布式有多种执行模式,mox会通过4次执行50 step记录执行时间,选择执行时间最少的模型。 处理方法 创建训练作业时,在“运行参数”中增加参数“variable_update=parameter_server”来关闭Mox的warmup。 父主题: MoXing
工作空间ID。获取方法请参见查询工作空间列表。未创建工作空间时默认值为“0”,存在创建并使用的工作空间,以实际取值为准。 labelSelector 否 String 标签筛选。 status 否 String 资源池状态。状态为空时,返回当前有效的资源池,包括创建中和创建成功的资源池。可选值如下:
torch_npu.npu.set_compile_mode(jit_compile=False) AICPU算子调优 ,Double类型输入切换成为Float减少cast算子调用耗时,修改diffusion/gaussian_diffusion.py (修改点:注释第871行,增加第872行)。
“确定”,启动特征分析任务。 图3 启动特征分析 查看任务进度 任务执行过程中,可以单击“任务历史”,查看任务进度。当任务状态变为“成功”时,表示任务执行完成。 图4 特征分析任务进度 查看特征分析结果 特征分析任务执行完成后,可以在“数据特征”页签下,选择“数据集版本”、“类型
镜像名称。 打印如下信息,表示构建镜像成功。 图4 成功构建镜像 如果推理需要使用NPU加速图片预处理,适配了llava-1.5模型,启动时需要设置export ENABLE_USE_DVPP=1,需要安装torchvision_npu,可放到镜像制作脚本./AscendClou
批量创建信息。 表6 PoolNodeAz 参数 参数类型 描述 az String 可用区名称。 count Integer 指定可用区扩容时,指定可用区的节点数。 表7 Taint 参数 参数类型 描述 key String 键。 value String 值。 effect String
是否必选 参数类型 描述 data 否 Object 样本文件的字节数据。类型为java.nio.ByteBuffer,前台调用时传字节数据转换后的字符串。 data_source 否 DataSource object 数据来源。 encoding 否 String 样本文件的编
FullAccess权限。 SWR OperateAccess 必选 密钥管理服务 当子用户使用ModelArts Notebook的SSH远程功能时,需要配置子用户密钥管理服务的使用权限。 KMS CMKFullAccess 可选 IEF智能边缘平台 授予子用户智能边缘平台使用权限,Mo
o”用于将此网络与某个选定的SFS Turbo资源做关联操作,关联完成后,表示SFS Turbo与网络已进行打通,可在训练和开发环境等功能时使用此SFS Turbo。 关联与解除关联操作需要用户委托授权ModelArts云服务操作SFS Turbo的部分权限。 涉及配置的自定义权限策略项如下:
API网关地址环境变量 作业元信息环境变量 约束限制 为了避免新设置的环境变量与系统环境变量冲突,而引起作业运行异常或失败,请在定义自定义环境变量时,不要使用“MA_”开头的名称。 如何修改环境变量 用户可以在创建训练作业页面增加新的环境变量,也可以设置新的取值覆盖当前训练容器中预置的环境变量值。