检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
参数类型 描述 allowed_access_ips 否 Array of strings 允许远程接入的公网IP地址列表,最多5个。 service 否 String 支持的服务,枚举值如下: NOTEBOOK:可以通过https协议访问Notebook。 SSH:可以通过SSH协议远程连接Notebook。
对应描述。 表10 policies 参数 参数类型 描述 auto_search auto_search object 超参搜索配置。 表11 auto_search 参数 参数类型 描述 skip_search_params String 需要排除的超参组合。 reward_attrs
start: 0.001\n stop: 0.1\n\nsearch_algorithm:\n type: bayes_opt_search\n max_concurrent: 4\n reward_attr: accuracy\n num_samples: 8\n
使用用户组02中任意一个子账号登录ModelArts管理控制台。在登录页面,请使用“IAM用户登录”方式进行登录。 首次登录会提示修改密码,请根据界面提示进行修改。 验证ModelArts权限。 在左上角的服务列表中,选择ModelArts服务,进入ModelArts管理控制台。 在M
age_url}参见表2。 docker pull {image_url} Step3 启动容器镜像 启动容器镜像。启动前请先按照参数说明修改${}中的参数。 export work_dir="自定义挂载的工作目录" export container_work_dir="自定义挂载到容器内的工作目录"
导致镜像保存失败。 如使用的是专属资源池,可尝试在“专属资源池>弹性集群”页面按需调整容器引擎空间大小,具体步骤请参考扩缩容专属资源池的“修改容器引擎空间大小”。 如果问题仍未解决,请联系技术支持。 前提条件 Notebook实例状态为“运行中”。 保存镜像 在Notebook列
导致镜像保存失败。 如使用的是专属资源池,可尝试在“专属资源池>弹性集群”页面按需调整容器引擎空间大小,具体步骤请参考扩缩容专属资源池的“修改容器引擎空间大小”。 如果问题仍未解决,请联系技术支持。 前提条件 Notebook实例状态为“运行中”。 保存镜像 在Notebook列
install -r requirements.txt && /bin/sh tools/run.sh Notebook中调试完后,如果镜像有修改,可以保存镜像用于后续训练,具体操作请参见保存Notebook镜像环境。 父主题: 单机多卡
clone下载Megatron-LM、MindSpeed、ModelLink源码(install.sh中会自动下载配套版本,若手动下载源码还需修改版本)至llm_train/AscendSpeed文件夹中。下载的源码文件结构如下: |——AscendCloud-LLM |──llm_train
新增委托:如果没有委托可选,可以在新增委托中创建委托权限。对于首次使用ModelArts的用户,需要新增委托。 “新增委托 > 委托名称” 系统自动创建委托名称,用户可以手动修改。 “新增委托 > 权限配置 > 普通用户” 普通用户包括用户使用ModelArts完成AI开发的所有必要功能权限,如数据的访问、训练任务的创建和管理等。一般用户选择此项即可。
tput/llama2-13b/saved_models/pretrain_hf/目录下查看转换后的权重文件。 用户自定义执行权重转换参数修改说明 同样以 llama2 为例,用户可在Notebook直接编辑scripts/llama2/2_convert_mg_hf.sh脚本,
conf sysctl -p | grep net.ipv4.ip_forward 步骤二:启动镜像 启动容器镜像。启动前可以根据实际需要增加修改参数,Lora微调启动单卡,Fnetune全参启动八卡。 export work_dir="自定义挂载的工作目录" export cont
Gallery微调大师训练模型,其中“训练任务类型”默认选择“自定义”,且不支持修改。 如果使用自定义镜像进行部署推理服务,操作步骤可以参考使用AI Gallery在线推理服务部署模型,其中“推理任务类型”默认选择“自定义”,且不支持修改。 自定义镜像规范(训练) 当托管自定义镜像到AI Gallery时,如果镜像要支持AI
专属资源池提供了故障节点修复的功能,可参考修复Standard专属资源池故障节点修复故障节点。 专属资源池提供了动态设置作业类型的功能,可参考修改Standard专属资源池支持的作业类型更新作业类型。 专属资源池提供了工作空间功能,管理员可以根据工作空间,隔离不同子用户操作工作空间内
put/llama2-13b/saved_models/pretrain_hf/ 目录下查看转换后的权重文件。 用户自定义执行权重转换参数修改说明 同样以 llama2 为例,用户可直接编辑 scripts/llama2/2_convert_mg_hf.sh 脚本,自定义环境变量
12) doesn't match a supported version!"不影响训练,可忽略。 Notebook中调试完后,如果镜像有修改,可以保存镜像用于后续训练,具体操作请参见保存Notebook镜像环境。 父主题: 单机单卡
"image_classification", "dataset_type" : "manifest", "source_service" : "select", "filter_func" : "data_validation_select",
允许通过SSH协议访问Notebook的公网IP地址白名单列表,默认都可以访问。当配置指定IP后,则仅允许IP所在的客户端实现对Notebook的访问。 dev_service String 访问Notebook的途径,枚举值如下: NOTEBOOK:可以通过https协议访问Notebook。 SSH:可以
对应描述。 表12 policies 参数 参数类型 描述 auto_search auto_search object 超参搜索配置。 表13 auto_search 参数 参数类型 描述 skip_search_params String 需要排除的超参组合。 reward_attrs
本方案目前仅适用于部分企业客户,完成本方案的部署,需要先联系您所在企业的华为方技术支持。 本文档适用于仅使用OBS对象存储服务(Object Storage Service)作为存储的方案,OBS用于存储模型文件、训练数据、代码、日志等,提供了高可靠性的数据存储解决方案。 约束限制 适配的CANN版本是cann_8