检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MindSpeed/ # MindSpeed昇腾大模型加速库 |──ModelLink/ # ModelLink端到端的大语言模型方案 |——megatron/ # 注意:该文件夹从Megatron-LM中复制得到
复制以下全部命令并运行即可。
MindSpeed/ # MindSpeed昇腾大模型加速库 |──ModelLink/ # ModelLink端到端的大语言模型方案 |——megatron/ # 注意:该文件夹从Megatron-LM中复制得到
进入代码目录 /home/ma-user/ws/llm_train/AscendFactory 下执行启动脚本,先修改以下命令中的参数,再复制执行。
请将完整的SWR地址复制到这里即可,或单击可直接从SWR选择自有镜像进行注册。 “架构”和“类型”根据实际情况选择,与镜像源保持一致。
进入代码目录 /home/ma-user/ws/llm_train/AscendSpeed 下,先修改以下命令中的参数,再复制执行。xxx-Ascend请根据实际目录替换。
进入代码目录 /home/ma-user/ws/llm_train/AscendSpeed 下执行启动脚本,先修改以下命令中的参数,再复制执行。
先修改以下命令中的参数,再复制执行 示例: MASTER_ADDR=localhost NNODES=1 NODE_RANK=0 sh scripts/llama2/0_pl_lora_13b.sh 或者: sh scripts/llama2/0_pl_lora_13b.sh 最后
source_workflow_id String 从指定Workflow工作流进行复制。通过复制来创建Workflow时必填。 gallery_subscription WorkflowGallerySubscription object 来自市场订阅的Workflow。
项目级云服务的自定义策略“Policy1”的具体内容如下,可以直接复制粘贴。
以下服务启动介绍的是在线推理方式,离线推理请参见https://docs.vllm.ai/en/latest/getting_started/quickstart.html#offline-batched-inference。
异常 复制模型文件失败,请检查OBS权限是否正常。 Failed to copy model file due to obs exception. Please Check your obs access right. 请检查OBS权限是否正常。
多机场景如果没有挂载共享存储如SFS Turbo,需要将多机上的profiling复制至同一个目录下才能进行性能分析,这个操作相对较为繁琐且耗时。使用ModelArts时推荐挂载共享网盘如sfs turbo,既能加快训练数据的读取速度又能用于存放性能profiling数据。
git-lfs-linux-arm64-v3.5.1.tar.gz cd git-lfs-3.5.1/ bash install.sh git lfs install git clone https://huggingface.co/Tencent-Hunyuan/HunyuanDiT-Diffusers 复制执行脚本
复制以下全部命令并运行即可。
source_workflow_id String 从指定Workflow工作流进行复制。通过复制来创建Workflow时必填。 gallery_subscription WorkflowGallerySubscription object 来自市场订阅的Workflow。
以下服务启动介绍的是在线推理方式,离线推理请参见https://docs.vllm.ai/en/latest/getting_started/quickstart.html#offline-batched-inference。
Megatron-LM/ # 适配昇腾的Megatron-LM训练框架 |──ModelLink/ # ModelLink端到端的大语言模型方案 |——megatron/ # 注意:该文件夹从Megatron-LM中复制得到
转换后的权重文件再复制到其它三台机器的相同目录。
进入代码目录 /home/ma-user/ws/llm_train/AscendSpeed 下执行启动脚本,先修改以下命令中的参数,再复制执行。