检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
# shell pip show diffusers 修改代码依赖 新建并进入/home_host/work/pipeline目录。
具体步骤如下： 进入到${workdir}目录下，如：/mnt/sfs_turbo，创建tokenizers文件目录将权重和词表文件放置此处，以Llama2-70B为例。
具体步骤如下： 进入到${workdir}目录下，如：/mnt/sfs_turbo，创建tokenizers文件目录将权重和词表文件放置此处，以Llama2-70B为例。
${container_name}：容器名称，进入容器时会用到，此处可以自己定义一个容器名称。 ${image_id}：镜像ID，通过docker images查看刚拉取的镜像ID。 容器不能挂载到/home/ma-user目录，此目录为ma-user用户家目录。
进入benchmark_tools目录下。 cd benchmark_tools 运行验证脚本speculative_benchmark_parallel.py，具体操作命令如下，可以根据参数说明修改参数。
进入benchmark_tools目录下。 cd benchmark_tools 运行验证脚本speculative_benchmark_parallel.py，具体操作命令如下，可以根据参数说明修改参数。
方法一：用户可打开scripts/llama2/1_preprocess_data.sh脚本，将执行的python命令复制下来，修改环境变量的值，进入到 /home/ma-user/ws/llm_train/AscendSpeed/ModelLink 路径中，再执行python命令
方法一：用户可打开scripts/llama2/1_preprocess_data.sh脚本，将执行的python命令复制下来，修改环境变量的值，进入到 /home/ma-user/ws/llm_train/AscendSpeed/ModelLink 路径中，再执行python命令
--name ${container_name}：容器名称，进入容器时会用到，此处可以自己定义一个容器名称。 {image_id} 为docker镜像的ID，即第四步中生成的新镜像id，在宿主机上可通过docker images查询得到。 步骤六 启动推理服务 进入容器。
--name ${container_name}：容器名称，进入容器时会用到，此处可以自己定义一个容器名称。 {image_id} 为docker镜像的ID，即第四步中生成的新镜像id，在宿主机上可通过docker images查询得到。 步骤六 启动推理服务 进入容器。
--name ${container_name}：容器名称，进入容器时会用到，此处可以自己定义一个容器名称。 {image_id} 为docker镜像的ID，即第四步中生成的新镜像id，在宿主机上可通过docker images查询得到。 Step6 启动推理服务 进入容器。
stack=67108864 --name megatron-deepspeed -v /etc/localtime:/etc/localtime -v /root/.ssh:/root/.ssh nvcr.io/nvidia/pytorch:21.10-py3 执行以下命令，进入容器终端
图7 服务部署完成 Step4 调用在线服务 进入在线服务详情页面，选择“预测”。
图7 服务部署完成 Step4 调用在线服务 进入在线服务详情页面，选择“预测”。
图2 启动服务成功 Step5 推理请求 执行如下命令进入容器。 kubectl exec -it {pod_name} bash 参数说明： ${pod_name}：pod名，例如图1${pod_name}为yourapp-87d9b5b46-c46bk。
图2 启动服务成功 Step5 推理请求 执行如下命令进入容器。 kubectl exec -it {pod_name} bash 参数说明： ${pod_name}：pod名，例如图1${pod_name}为yourapp-87d9b5b46-c46bk。
在左侧导航栏中选择“模型训练 > 训练作业”，默认进入“训练作业”列表。 在“创建训练作业”页面，填写相关参数信息，然后单击“提交”。 创建方式：选择“自定义算法” 启动方式：选择“自定义” 镜像地址：Step5 上传镜像至SWR服务中创建的镜像。
注册镜像 在ModelArts Console上注册镜像 登录ModelArts控制台，在左侧导航栏选择“镜像管理”，进入镜像管理页面。 单击“注册镜像”，镜像源即为步骤1中推送到SWR中的镜像。请将完整的SWR地址复制到这里即可，或单击可直接从SWR选择自有镜像进行注册。
在Notebook进入到 /home/ma-user/work/llm_train/AscendSpeed/ModelLink 路径中，再执行python命令。
在Notebook进入到 /home/ma-user/work/llm_train/AscendSpeed/ModelLink 路径中，再执行python命令。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
