正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
FAQ CUDA和CUDNN CloudShell调试方法 run.sh脚本测试ModelArts训练整体流程 ModelArts环境挂载目录说明 如何查看训练环境变量 infiniband驱动的安装 Tensorboard的使用 如何保证训练和调试时文件路径保持一致 父主题: 专属资源池训练
在创建OBS桶创建的桶下创建文件夹用以存放数据,例如在桶standard-llama2-13b中创建文件夹training_data。 利用OBS Browser+工具将步骤1下载的数据集上传至步骤2创建的文件夹目录下。得到OBS下数据集结构: obs://<bucket_name>/training_data
Native的资源、任务等能力,用户可以直接操作资源池中的节点和k8s集群。请参见弹性集群k8s Cluster。 弹性裸金属:弹性裸金属提供不同型号的xPU裸金属服务器,您可以通过弹性公网IP进行访问,在给定的操作系统镜像上可以自行安装GPU&NPU相关的驱动和其他软件,使用SFS或OBS进行数据存储和读
在创建OBS桶创建的桶下创建文件夹用以存放数据,例如在桶standard-llama2-13b中创建文件夹training_data。 利用OBS Browser+工具将步骤1下载的数据集上传至步骤2创建的文件夹目录下。得到OBS下数据集结构: obs://<bucket_name>/training_data
在创建OBS桶创建的桶下创建文件夹用以存放数据,例如在桶standard-llama2-13b中创建文件夹training_data。 利用OBS Browser+工具将步骤1下载的数据集上传至步骤2创建的文件夹目录下。得到OBS下数据集结构: obs://<bucket_name>/training_data
dev_services Array of strings 镜像支持的服务。枚举值如下: NOTEBOOK:镜像支持通过https协议访问Notebook。 SSH:镜像支持本地IDE通过SSH协议远程连接Notebook。 id String 待创建Notebook实例的镜像
/edge。 real-time代表在线服务,将模型部署为一个Web Service,并且提供在线的测试UI与监控能力,服务一直保持运行。 batch为批量服务,批量服务可对批量数据进行推理,完成数据处理后自动停止。 edge表示边缘服务,通过华为云智能边缘平台,在边缘节点将模型部署为一个Web
在创建OBS桶创建的桶下创建文件夹用以存放数据,例如在桶standard-llama2-13b中创建文件夹training_data。 利用OBS Browser+工具将步骤1下载的数据集上传至步骤2创建的文件夹目录下。得到OBS下数据集结构: obs://<bucket_name>/training_data
"ecs:serverKeypairs:list", "ecs:serverKeypairs:get", "ecs:serverKeypairs:delete", "ecs:serverKeypairs:create"
体验结束后,建议暂停或删除服务,避免占用资源,造成资源浪费。 停止在线服务:在“在线服务”列表,单击对应服务操作列的“更多 > 停止”。 删除在线服务:在“在线服务”列表,单击对应服务操作列的“更多 > 删除”。 常见问题 订阅的AI应用一直处于等待同步状态 服务预测失败
资源浪费。 停止在线服务:在“在线服务”列表,单击对应服务操作列的“更多 > 停止”。 删除在线服务:在“在线服务”列表,单击对应服务操作列的“更多 > 删除”。 父主题: 历史待下线案例
service_type 否 String 镜像支持服务类型。枚举值如下: COMMON:通用镜像。 INFERENCE: 建议仅在推理部署场景使用。 TRAIN: 建议仅在训练任务场景使用。 DEV: 建议仅在开发调测场景使用。 UNKNOWN: 未明确设置的镜像支持的服务类型。 sort_dir 否
object SSH连接信息。 jupyter_lab JupyterLab object JupyterLab连接信息。 表94 SSHResp 参数 参数类型 描述 key_pair_names Array of strings SSH密钥对名称,可以在云服务器控制台(ECS)“密钥对”页面创建和查看。
ue 将yaml文件中的per_device_train_batch_size调小,重新训练如未解决则执行下一步。 替换深度学习训练加速的工具或增加zero等级,可参考模型NPU卡数、梯度累积值取值表,如原使用Accelerator可替换为Deepspeed-ZeRO-1,Dee
桶中的对象不存在,请检查OBS路径中的内容是否存在。具体错误码请参见OBS官方文档。 处理方法 检查OBS路径及内容格式是否正常。 必现的问题,使用本地Pycharm远程连接Notebook调试。 建议与总结 在创建训练作业前,推荐您先使用ModelArts开发环境调试训练代码,避免代码迁移过程中的错误。 直接
|──llm_inference # 推理代码包 |──llm_tools # 推理工具 下载代码之后需要修改llm_train/AscendSpeed/scripts/install.sh文件。具体为删除install.sh的第43行
Turbo的“云上挂载路径”为“/home/ma-user/work”,使得训练环境下SFS也在“/home/ma-user/work”路径下。 ln -s建立软连接 如果代码中涉及文件绝对路径,由于Notebook调试与训练作业环境不同,可能会导致文件绝对路径不一致,需要修改代码内容。推荐使用软链接的
源大模型Llama/Llama2、Qwen、ChatGLM、Yi、Baichuan等推理部署的详细过程。本方案利用适配昇腾平台的大模型推理服务vLLM和华为自研昇腾Snt9B硬件,为用户提供推理部署方案,帮助用户使能大模型业务。 约束限制 本方案目前仅适用于企业客户。 本文档适配昇腾云ModelArts
用途,可选值为TRAIN、EVAL、TEST、INFERENCE。指明该对象用于训练、评估、测试、推理,如果没有给出该字段,则使用者自行决定如何使用该对象。 inference_loc String 当此Manifest文件由推理服务生成时会有该字段,表示推理输出的结果文件位置。 id String 样本ID。
情况。建议优化数据读取和数据增强的性能,例如将数据读取并行化,或者使用NVIDIA Data Loading Library(DALI)等工具提高数据增强的速度。 模型保存不要太频繁:模型保存操作一般会阻塞训练,如果模型较大,并且较频繁地进行保存,就会影响GPU/NPU利用率。同