检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
下载或读取文件报错，提示超时、无剩余空间 问题现象 训练过程中复制数据/代码/模型时出现如下报错： 图1 错误日志 原因分析 出现该问题的可能原因如下。 磁盘空间不足。 分布式作业时，有些节点的docker base size配置未生效，容器内“/”根目录空间未达到50GB，只有默认的10GB，导致作业训练失败。
处理方法 在适配OBS路径后，读取文件模式从‘r’改成‘rb’，然后将mox.file.File的'_write_check_passed'属性值改为‘True’，参考如下代码。 import pandas as pd import moxing as mox mox.file.shift('os'
ers/examples/hunyuan_dit_example.py . 修改hunyuan_dit_example.py脚本第16行，改为hunyuan-dit模型路径： 安装ascend_diffusers插件 执行以下命令安装华为侧插件ascend_diffusers。 pip
训练作业进程异常退出 问题现象 训练作业运行失败，日志中出现如下类似报错： [Modelarts Service Log]Training end with return code: 137 原因分析 日志显示训练进程的退出码为137。训练进程表示用户的代码启动后的进程，所以这里
训练作业进程被kill 问题现象 用户进程被Kill表示用户进程因外部因素被Kill或者中断，表现为日志中断。 原因分析 CPU软锁 在解压大量文件可能会出现此情况并造成节点重启。可以适当在解压大量文件时，加入sleep。比如每解压1w个文件，就停止1s。 存储限制 根据规格情况
更新Notebook实例 变更镜像 ModelArts允许用户在同一个Notebook实例中切换镜像，方便用户灵活调整实例的AI引擎。Notebook实例状态需在“停止”中才可以变更镜像。 请注意，变更镜像后可能会导致Notebook实例无法启动，镜像对应的Notebook实例规
进行训练时，需要修改 install.sh 中的 transformers 的版本。 由默认 transformers==4.45.0 修改为：transformers==4.44.2 创建训练作业后，会在节点机器中使用基础镜像创建docker容器，并在容器内进行分布式训练。而install
进行训练时，需要修改 install.sh 中的 transformers 的版本。 由默认 transformers==4.45.0 修改为：transformers==4.44.2 创建训练作业后，会在节点机器中使用基础镜像创建docker容器，并在容器内进行分布式训练。而install
8f1760c08b7dfba3ae97b71cbd4c6f17d12dbd/LLaVA 修改mme_8p.sh。需要将脚本里模型的路径更改为实际存放模型的路径(--model-path 模型路径)，同时检查数据集路径与实际保持一致(--question-file --image-folder
下载代码至本地 配置本地PC开发环境。 修改“models/official/cv/resnet/requirements.txt”文件，改为： numpy==1.17.5 scipy==1.5.4 easydict==1.9 执行pip命令安装： # 在PyCharm的Terminal安装mindspore
进行训练时，需要修改 install.sh 中的 transformers 的版本。 由默认 transformers==4.45.0 修改为：transformers==4.44.2 以创建llama2-13b预训练作业为例，执行脚本0_pl_pretrain_13b.sh时，命令如下：
在ModelArts训练平台使用自定义镜像时，默认用户为ma-user、默认用户组为ma-group。如果在训练时调用ECS中的文件，需要修改文件权限改为ma-user可读，否则会出现Permission denied错误。 在Terminal中执行以下命令，在ECS中提前创建好ma-user和ma-group。
5T空间用完了。 云上训练磁盘空间一般指如下两个目录的磁盘空间： “/”根目录，是docker中配置项“base size”，默认是10G，云上统一改为50G。 “/cache”目录满了，一般是3.5T存储空间满了，具体规格的空间大小可参见训练环境中不同规格资源“/cache”目录的大小。
进行训练时，需要修改 install.sh 中的 transformers 的版本。 由默认 transformers==4.45.0 修改为：transformers==4.44.2 以创建llama2-13b预训练作业为例，执行脚本0_pl_pretrain_13b.sh时，命令如下：
t/image_0.png，脚本里写到pokemon-dataset路径即可。 将kohya_finetune.toml文件里数据集路径更改为pokemon-dataset路径。 cd koyha_ss cp run_* sd-scripts cp kohya_finetune.toml
/text_encoder.ini 在使用converter_lite工具转换时，默认是将所有算子的精度转换为fp16。如果想要将固定shape的模型精度修改为fp32进行转换，需要在配置文件中指定算子的精度模式为precision_mode，配置文件的写法如下（更多精度模式请参考precision_mode）：
常见的磁盘空间不足的问题和解决办法 该章节用于统一整体所有的常见的磁盘空间不足的问题和解决办法。减少相关问题文档的重复内容。 问题现象 训练过程中复制数据/代码/模型时出现如下报错： 图1 错误日志 原因分析 出现该问题的可能原因如下： 本地数据、文件保存将"/cache"目录空间用完。
择“自定义”。 当模型的“任务类型”是除“文本问答”和“文本生成”之外的类型（即自定义模型）时，则“训练任务类型”默认为“自定义”，支持修改为“文本问答”或“文本生成”。 当使用自定义镜像进行模型微调时，“训练任务类型”默认为“自定义”，且不支持修改。 准备数据 本地上传数据需要
vllm/build_image.sh内容，将'ENTRYPOINT ["/home/mind/model/run_vllm.sh"]'修改为'ENTRYPOINT sh /home/mind/model/run_vllm.sh'，并重新构建镜像。 见如下示例： 图1 修改build_images
(Press CTRL+C to quit) Step4 请求推理服务 另外启动一个terminal，使用命令测试推理服务是否正常启动，端口请修改为启动服务时指定的端口。 使用命令测试推理服务是否正常启动。服务启动命令中的参数设置请参见表1。 方式一：通过OpenAI服务API接口启动
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
