检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
预训练任务 启动训练脚本 单机启动 以baichuan2-13b为例,单机训练启动样例命令如下,以自己实际为准。在/home/ma-user/ws/6.3.904-Ascend/llm_train/AscendSpeed/代码目录下执行。超参详解参考表1。 MODEL_TYPE=13B
/cache/apex-master') 安装报错 “xxx.whl”文件无法安装,需要您按照如下步骤排查: 当出现“xxx.whl”文件无法安装,在启动文件中添加如下代码,查看当前pip命令支持的文件名和版本。 import pip print(pip.pep425tags.get_supported())
delArts采集到的指标数据。 开通前需要确认使用的端口号,端口号可选取10120~10139范围内的任一端口号,请确认选取的端口号在各个节点上都没有被其他应用占用。 Kubernetes下Prometheus对接ModelArts 使用kubectl连接集群,详细操作请参考通过kubectl连接集群。
#指定work_dir路径 bash install.sh 在benchmark_eval目录下安装依赖。 cd opencompass #在benchmark_eval目录下 pip install -e . #下载对应依赖 cd ../human-eval #在benchmark_eval目录下 (
r/work/下。 ownership String 资源所属,枚举值如下: MANAGED:托管,即资源在服务上。 DEDICATED:非托管,即资源在用户账号上,只有在category为EFS时支持。 status String EVS扩容状态,扩容时的状态为RESIZING,此时实例可以正常使用。
r/work/下。 ownership String 资源所属,枚举值如下: MANAGED:托管,即资源在服务上。 DEDICATED:非托管,即资源在用户账号上,只有在category为EFS时支持。 status String EVS扩容状态,扩容时的状态为RESIZING,此时实例可以正常使用。
#指定work_dir路径 bash install.sh 在benchmark_eval目录下安装依赖。 cd opencompass #在benchmark_eval目录下 pip install -e . #下载对应依赖 cd ../human-eval #在benchmark_eval目录下 (
查询服务监控信息 功能介绍 查询服务监控信息。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v1/{project_id}/services/{service_id}/monitor
训练进度、浪费算力。此功能已适配断点续训练。 图2 开启故障重启 断点续训练是通过checkpoint机制实现。checkpoint机制是在模型训练的过程中,不断地保存训练结果(包括但不限于EPOCH、模型权重、优化器状态、调度器状态)。即便模型训练中断,也可以基于checkpoint接续训练。
训练进度、浪费算力。此功能已适配断点续训练。 图2 开启故障重启 断点续训练是通过checkpoint机制实现。checkpoint机制是在模型训练的过程中,不断地保存训练结果(包括但不限于EPOCH、模型权重、优化器状态、调度器状态)。即便模型训练中断,也可以基于checkpoint接续训练。
方式,需要机器在同一个集群,NPU卡之间IP能够ping通方可,具体步骤如下: 查看卡IP,在其中一个宿主机上执行。 for i in $(seq 0 7);do hccn_tool -i $i -ip -g;done 检查卡之间的网络是否通。 # 在另一个机器上执行,29.81
RS 通过ModelArts的Notebook,在JupyterLab中使用OBS上传下载数据。 建议配置。 开发环境监控功能 AOM aom:alarm:put 调用AOM的接口,获取Notebook相关的监控数据和事件,展示在ModelArts的Notebook中。 建议配置。
name String 存储卷的名称。 mount_path String 存储卷在容器中的挂载路径。如:/tmp。请不要挂载在系统目录下,如“/”、“/var/run”等,会导致容器异常。建议挂载在空目录下,若目录不为空,请确保目录下无影响容器启动的文件,否则文件会被替换,导致容器启动异常,工作负载创建失败。
Studio控制台,在顶部导航栏选择目标区域。 在左侧导航栏,选择“我的模型”进入模型列表。 在“我的模型”页面,单击“创建模型”弹出创建模型页面。 在“创建模型”页面,配置相关参数。 图2 创建模型 表1 创建模型参数说明 参数 说明 取值样例 来源模型 单击“选择基础模型”,在弹窗中选择模型,单击“确定”。
问题。新的数据和新的特征在已有的模型上表现会越来越差。在MLOps中,实验迭代的产物将会是一条固化下来的流水线,这条流水线将会包含数据工程、模型算法、训练配置等。用户将会使用这条流水线在持续产生的数据中持续迭代训练,确保这条流水线生产出来的模型始终维持在一个较好的状态。 图1 MLOps
选择资源池规格 新增SFS Turbo挂载配置,并选择用户创建的SFS Turbo文件系统。 云上挂载路径:输入镜像容器中的工作路径 /home/ma-user/work/ 存储位置:输入用户在创建Notebook的“子目录挂载”路径。若默认没有填写,则忽略。 图4 选择SFS Turbo
选择资源池规格 新增SFS Turbo挂载配置,并选择用户创建的SFS Turbo文件系统。 云上挂载路径:输入镜像容器中的工作路径 /home/ma-user/work/ 存储位置:输入用户在创建Notebook的“子目录挂载”路径。若默认没有填写,则忽略。 图4 选择SFS Turbo
updateStrategy String 驱动升级策略。可选值如下: force:强制升级,立即升级节点驱动,可能影响节点上正在运行的作业 idle:安全升级,待节点上没有作业运行时进行驱动升级 表14 PoolStatus 参数 参数类型 描述 phase String 资源池集群状态。可选值如下:
domain_name为用户所属的账号名。 cn-north-1为项目名,代表服务的部署区域。 返回状态码“201 Created”,在响应Header中获取“X-Subject-Token”的值即为Token,如下所示: x-subject-token →MIIZmgYJK
选择资源池规格 新增SFS Turbo挂载配置,并选择用户创建的SFS Turbo文件系统。 云上挂载路径:输入镜像容器中的工作路径 /home/ma-user/work/ 存储位置:输入用户在创建Notebook的“子目录挂载”路径。若默认没有填写,则忽略。 图4 选择SFS Turbo