检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
本教程案例是基于ModelArts Lite DevServer运行的，需要购买并开通DevServer资源。 准备代码 准备AscendSpeed训练代码、分词器Tokenizer和推理代码。 准备数据 准备训练数据，可以用本案使用的数据集，也可以使用自己准备的数据集。 准备镜像 准备训练模型适用的容器镜像。
行全面适配和优化，使得精度和性能显著提升。开发者无需从零开始构建模型，只需选择合适的预训练模型进行微调或直接应用，减轻模型集成的负担。 零代码、免配置、免调优模型开发 平台结合与100+客户适配、调优开源大模型的行业实践经验，沉淀了大量适配昇腾，和调优推理参数的最佳实践。通过为客
ser用户执行后续命令。 docker exec -it ${container_name} bash 步骤四：下载依赖代码包并上传到宿主机 下载华为侧插件代码包AscendCloud-AIGC-6.3.909-xxx.zip文件，获取路径参见表1。本案例使用的是解压到子目录/a
code_dir+boot_file：取训练作业的代码目录和启动文件。 name String 算法名称。 subscription_id String 订阅算法的订阅ID。 item_version_id String 订阅算法的版本。 code_dir String 训练作业的代码目录。如：“/usr/
driver及npu-smi需同时挂载至容器。 不要将多个容器绑到同一个NPU上，会导致后续的容器无法正常使用NPU功能。 步骤三：下载依赖代码包并上传到宿主机 下载华为侧插件代码包AscendCloud-AIGC-6.3.911-xxx.zip文件，获取路径参见表1。本案例使用的是解压到子目录/a
更新训练作业描述 示例代码 在ModelArts notebook平台，Session鉴权无需输入鉴权参数。其它平台的Session鉴权请参见Session鉴权。 方式一：根据指定的job_id更新。 from modelarts.session import Session from
桶。 准备数据 准备训练数据，可以用本案使用的数据集，也可以使用自己准备的数据集。 准备权重 准备所需的权重文件。 准备代码 准备AscendSpeed训练代码。 准备镜像 准备训练模型适用的容器镜像。 准备Notebook 本案例需要创建一个Notebook，以便能够通过它访问SFS
本教程案例是基于ModelArts Lite DevServer运行的，需要购买并开通DevServer资源。 准备代码 准备AscendSpeed训练代码、分词器Tokenizer和推理代码。 准备数据 准备训练数据，可以用本案使用的数据集，也可以使用自己准备的数据集。 准备镜像 准备训练模型适用的容器镜像。
String 训练作业的代码目录。如：“/usr/app/”。应与boot_file_url一同出现，若填入model_id则app_url/boot_file_url和engine_id无需填写。 boot_file_url 是 String 训练作业的代码启动文件，需要在代码目录下。如：“/usr/app/boot
推理框架在实际业务中能支持的并发数。 性能benchmark验证使用到的脚本存放在代码包AscendCloud-LLM-xxx.zip的llm_tools/llm_evaluation目录下。 代码目录如下: benchmark_tools ├── benchmark_parallel
推理框架在实际业务中能支持的并发数。 性能benchmark验证使用到的脚本存放在代码包AscendCloud-LLM-xxx.zip的llm_tools/llm_evaluation目录下。 代码目录如下: benchmark_tools ├── benchmark_parallel
获取地址 AscendCloud-6.3.909-xxx.zip 包含 三方大模型训练和推理代码包：AscendCloud-LLM AIGC代码包：AscendCloud-AIGC CV代码包：AscendCloud-CV 算子依赖包：AscendCloud-OPP 获取路径：Support-E
/etc/sysctl.conf sysctl -p | grep net.ipv4.ip_forward Step2 下载依赖代码包并上传到宿主机 下载华为侧插件代码包AscendCloud-AIGC-6.3.907-xxx.zip文件，获取路径参见表1。本案例使用的是解压到子目录ai
下载华为侧插件代码包AscendCloud-AIGC-6.3.908-xxx.zip文件，获取路径参见表1。本案例使用的是解压到子目录aigc_train->torch_npu->diffusers的所有文件，将diffusers整个目录上传到宿主机上。 依赖的插件代码包、模型包和
0-ofed-cuda11.2”。 代码目录：设置为OBS中存放启动脚本文件的目录，例如：“obs://test-modelarts/tensorflow/code/”，训练代码会被自动下载至训练容器的“${MA_JOB_DIR}/code”目录中，“code”为OBS存放代码路径的最后一级目录，可以根据实际修改。
腾资源。 软件配套版本 本方案支持的软件配套版本和依赖包获取地址如表1所示。 表1 软件配套版本和获取地址 软件名称 说明 下载地址 插件代码包 AscendCloud-3rdAIGC-6.3.908-xxx.zip 文件名中的xxx表示具体的时间戳，以包名的实际时间为准。 获取路径：Support-E
自动诊断工具MA-Advisor简介 MA-Advisor是一款昇腾迁移性能问题自动诊断工具，当前支持如下场景的自动诊断： 推理场景下的子图数据调优分析，给出对应融合算子的调优建议。 推理、训练场景下对Profiling timeline单卡数据进行调优分析，给出相关亲和API替换的调优建议。
code_dir String 训练作业的代码目录。如：“/usr/app/”。应与boot_file一同出现，如果填入id或subscription_id+item_version_id则无需填写。 boot_file String 训练作业的代码启动文件，需要在代码目录下。如：“/usr/app/boot
建议使用官方提供的镜像部署推理服务。镜像地址{image_url}获取请参见表1。 docker pull {image_url} Step3 上传代码包和权重文件 上传安装依赖软件推理代码AscendCloud-LLM-6.3.906-xxx.zip和算子包AscendCloud-OPP-6.3.906-xxx
获取模型软件包，并上传到机器SFS Turbo的目录下（可自定义路径），获取地址参考表1。 解压AscendCloud压缩包及该目录下的训练代码AscendCloud-LLM-6.3.908-xxx.zip，并直接进入到llm_train/AscendSpeed文件夹下面 unzip
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
