检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
准备Notebook 本案例需要创建一个Notebook，以便能够通过它访问SFS Turbo服务。随后，通过Notebook将OBS中的数据上传至SFS Turbo，并对存储在SFS Turbo中的数据执行编辑操作。 预训练 预训练 介绍如何进行预训练，包括训练数据处理、超参配置、创建训练任务及性能查看。
alpaca_gpt4_data.json #微调数据文件 上传代码和权重文件到工作环境 使用root用户以SSH的方式登录Server。 将AscendCloud代码包AscendCloud-xxx-xxx.zip上传到${workdir}目录下并解压缩，如：/home/ma-
其他的AI引擎如TensorFlow、Caffe等不在本指导的讨论范围中。 已完成迁移环境准备，且代码、预训练模型、数据等训练必需内容已经上传到环境中。 约束和限制 安装插件后，大部分能力能够对标在GPU上的使用，但并不是所有行为和GPU上是一一对应的。例如在torch_npu下，当PyTorch版本低于2
-user/modelarts/log/”目录下的“*.log”文件将会被自动上传至ModelArts训练作业的日志目录（OBS）。如果本地相应目录没有生成大小>0的日志文件，则对应的父级目录也不会上传。因此，PyTorch NPU的plog日志是按worker存储的，而不是按rank
Step3 获取SD1.5插件代码包并安装依赖 将下载的SD1.5插件代码包ascendcloud-aigc-xxx-xxx.tar.gz文件，上传到容器的/home/ma-user/目录下，解压并安装相关依赖。插件代码包获取路径参见表2。 mkdir -p /home/ma-user/stable_diffusers_1
面。 在“创建训练作业”页面，填写相关参数信息，然后单击“提交”。 创建方式：选择“自定义算法”。 启动方式：选择“自定义”。 镜像：选择上传的自定义镜像。 启动命令： cd ${MA_JOB_DIR}/demo && python main.py -a resnet50 -b 128
obs:bucket:PutBucketAcl obs:bucket:PutBucketCORS 通过ModelArts的Notebook，在JupyterLab中使用OBS上传下载数据。 建议配置。 开发环境监控功能 AOM aom:alarm:put 调用AOM的接口，获取Notebook相关的监控数据和事件，
关于数据集文件的格式及配置，请参考data/README_zh.md的内容。可以使用HuggingFace/ModelScope上的数据集或加载本地数据集。 上传自定义数据到指定目录 将下载的原始数据存放在{work_dir}/llm_train/LLaMAFactory/LLaMA-Factory/data目录下。具体步骤如下：
alpaca_gpt4_data.json #微调数据文件 上传代码和权重文件到工作环境 使用root用户以SSH的方式登录Server。 将AscendCloud代码包AscendCloud-xxx-xxx.zip上传到${workdir}目录下并解压缩，如：/home/ma-
OBS + SFS Turbo存储加速的具体方案请查看： 面向AI场景使用OBS+SFS Turbo的存储加速实践。 设置训练存储加速 当完成上传数据至OBS并预热到SFS Turbo中步骤后，在ModelArts Standard中创建训练作业时，设置训练“SFS Turbo”，在“文件系统”中选择SFS
nerdctl 工具查看 nerdctl --namespace k8s.io image list Step3 制作推理镜像 获取模型软件包，并上传到机器SFS Turbo的目录下（可自定义路径），获取地址参考表1。 解压AscendCloud压缩包及该目录下的推理代码AscendCloud-LLM-6
用于存储训练和推理的输入数据和输出结果数据。具体费用可参见对象存储价格详情。 注意： 存储到OBS中的数据需在OBS控制台进行手动删除。如果未删除，则会按照OBS的计费规则进行持续计费。 按需计费 包年/包月 创建桶不收取费用，按实际使用的存储容量和时长收费 计费示例 以下案例中出
Notebook的SSH远程功能时，需要配置子用户密钥管理服务的使用权限。 OBS对象存储服务 具有对象存储服务（OBS）查看桶列表、获取桶元数据、列举桶内对象、查询桶位置、上传对象、获取对象、删除对象、获取对象ACL等对象基本操作权限。 配置IAM权限 配置ModelArts委托权限 配置SWR组织权限 测试用户权限
面。 在“创建训练作业”页面，填写相关参数信息，然后单击“提交”。 创建方式：选择“自定义算法”。 启动方式：选择“自定义”。 镜像：选择上传的自定义镜像。 启动命令： ln -s /home/ma-user/work/coco /home/ma-user/coco && cd
txt # 第三方依赖 ├── service_predict.py # 发送请求的服务 上传精度测试代码到推理容器中。如果在Step5 进入容器安装推理依赖软件步骤中已经上传过AscendCloud-3rdLLM-x.x.x.zip并解压，无需重复执行。 进入benchm
pull {image_url} Step3 上传代码包和权重文件 上传安装依赖软件推理代码AscendCloud-3rdLLM-xxx.zip和算子包AscendCloud-OPP-xxx.zip到容器中，包获取路径请参见表1。 将权重文件上传到Server机器中。权重文件的格式要求
下载依赖代码包并上传到宿主机 下载华为侧插件代码包AscendCloud-AIGC-6.3.910-xxx.zip文件，获取路径参见表1。本案例使用的是压缩包中的multimodal_algorithm/OpenSora1.2/，将OpenSora1.2整个文件夹上传到宿主机上。 Step3
copy('obs://bucket_name/obs_file.txt', '/tmp/obs_file.txt') 将本地文件复制到OBS，也就是上传一个OBS文件，例如上传“/tmp/obs_file.txt”到“obs://bucket_name/obs_file.txt”。 1 2 import
时间为准。 获取路径：Support-E，在此路径中查找下载ModelArts 6.3.911 版本。 说明： 如果上述软件获取路径打开后未显示相应的软件信息，说明您没有下载权限，请联系您所在企业的华为方技术支持下载获取。 基础镜像 西南-贵阳一： swr.cn-southwest-2
-p $MY_SSHD_PORT -h /home/ma-user/etc/ssh_host_rsa_key0 将准备好的sshd启动脚本文件上传至OBS的训练代码目录下。 创建自定义镜像训练作业。 “代码目录”选择存有sshd启动脚本文件的OBS地址。 “启动命令”需要适配sshd启动脚本，如下所示：
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
