检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
导入模型提示单个模型文件超过5G限制 问题现象 在导入模型时，提示单个模型文件大小超过5G限制。 原因分析 在不使用动态加载的情况下，系统对单个模型文件的限制大小为5G，超过时无法进行导入。 处理方法 精简模型文件后，重新导入。 使用动态加载功能进行导入。 图1 使用动态加载 父主题：
JupyterLab中文件保存失败，如何解决？ 问题现象 JupyterLab中保存文件时报错如下： 原因分析 浏览器安装了第三方插件proxy进行了拦截，导致无法进行保存。 在Notebook中的运行文件超过指定大小就会提示此报错。 jupyter页面打开时间太长。 网络环境原因，是否有连接网络代理。
在ModelArts训练代码中，如何获取依赖文件所在的路径？ 由于用户本地开发的代码需要上传至ModelArts后台，训练代码中涉及到依赖文件的路径时，用户设置有误的场景较多。因此推荐通用的解决方案：使用os接口得到依赖文件的绝对路径，避免报错。 以下示例展示如何通过os接口获得其他文件夹下的依赖文件路径。 文件目录结构：
附录：rank_table_file.json文件 rank_table_file.json文件样例如下，需要根据实际修改server_count，device_ip，server_id，container_ip参数，每台机器上的rank_table_file.json文件内容一致。在步骤三：创建rank_table_file
dataset identity,alpaca_en_demo 【可选】注册在dataset_info.json文件数据集名称。如选用定义数据请参考准备数据（可选）配置dataset_info.json文件，并将数据集存放于dataset_info.json同目录下。 dataset_dir
recursive=True) 其中，“get_size”为获取文件或文件夹的大小。“recursive=True”表示类型为文件夹，“True”表示是文件夹，“False”为文件。 如果输出结果为一致，表示文件夹复制已完毕。如果输出结果不一致，表示复制未结束。 父主题： Standard模型训练
rm/dpo:dpo_en_demo 多模态数据集(图像)：mllm_demo,identity 【可选】注册在dataset_info.json文件数据集名称。如选用定义数据请参考准备数据（可选）配置dataset_info.json文件，并将数据集存放于dataset_info.json同目录下。 dataset_dir
rm/dpo:dpo_en_demo 多模态数据集(图像)：mllm_demo,identity 【可选】注册在dataset_info.json文件数据集名称。如选用定义数据请参考准备数据（可选）配置dataset_info.json文件，并将数据集存放于dataset_info.json同目录下。 dataset_dir
一般情况都是模型的端口配置有问题。建议您首先检查创建模型的端口是否正确。 处理方法 模型的端口没有配置，如您在自定义镜像配置文件中修改了端口号，需要在部署模型时，配置对应的端口号，使新的模型重新部署服务。 如何修改默认端口号，请参考使用自定义镜像创建在线服务，如何修改默认端口。 父主题：
rm/dpo:dpo_en_demo 多模态数据集(图像)：mllm_demo,identity 【可选】注册在dataset_info.json文件数据集名称。如选用定义数据请参考准备数据（可选）配置dataset_info.json文件，并将数据集存放于dataset_info.json同目录下。 dataset_dir
rm/dpo:dpo_en_demo 多模态数据集(图像)：mllm_demo，identity 【可选】 注册在dataset_info.json文件数据集名称。如选用自定义数据则需配置dataset_info.json文件，并将数据集存放于dataset_info.json同目录下，详情可参考自定义数据。
0训练环境中tf-1.12训练会报该错。 编译环境和训练环境的cuda版本不一致时，可参考如下处理方法： 在业务执行前加如下命令，检查是否能找到so文件。如果已经找到so文件，执行2；如果没有找到，执行3。 import os; os.system(find /usr -name *libcudart
rm/dpo:dpo_en_demo 多模态数据集(图像)：mllm_demo，identity 【可选】 注册在dataset_info.json文件数据集名称。如选用自定义数据则需配置dataset_info.json文件，并将数据集存放于dataset_info.json同目录下，详情可参考自定义数据。
建议用户新建一个文件夹（例如：tb_logs），将tensorboard的日志文件（例如：tb.events）放到新建的文件夹下，然后执行tensorboard命令。示例命令如下： mkdir -p ./tb_logs mv tb.events ./tb_logs tensorboard
yaml配置文件参数配置说明 本小节主要详细描述demo_yaml样例配置文件、配置参数说明，用户可根据实际自行选择其需要的参数。 表1 模型训练脚本参数 参数 示例值 参数说明 model_name_or_path /home/ma-user/ws/tokenizers/Qwen2-72B
关的参数配置请参见表2。 针对从OBS导入的元模型，ModelArts要求根据模型包规范，编写推理代码和配置文件，并将推理代码和配置文件放置元模型存储的“model”文件夹下。如果您选择的目录下不符合模型包规范，将无法创建模型。 图1 从OBS中选择元模型 表2 元模型来源参数说明
创建模型时，OBS文件目录对应镜像里面的目录结构是什么样的？ 问题现象 创建模型时，元模型来源指定的OBS目录下存放了自定义的文件和文件夹，都会复制到镜像中去。复制进去的路径是什么，怎么读取对应的文件或者文件夹里面的内容？ 原因分析 通过OBS导入模型时，ModelArts会将指
使用moxing适配OBS路径，pandas读取文件报错 问题现象 使用moxing适配OBS路径，然后用较高版本的pandas读取OBS文件报出如下错误： 1.‘can't decode byte xxx in position xxx’ 2.‘OSError:File isn't
字段。 log_file_list String 训练作业的日志文件名。单机作业日志仅有一个文件，分布式作业日志有多个文件。 请求示例 如下以获取“job_id”为10，“version_id”为10的作业日志文件为例。 GET https://endpoint/v1/{p
ModelArts通过OBS的API访问OBS中的文件，属于内网还是公网访问？ 在同一区域，ModelArts通过OBS的API访问OBS中的文件属于内网通信，不消耗公网流量费。 如果是通过互联网从OBS下载数据到本地，这时候会产生OBS公网流量费。OBS的详细计费说明可以参见计费项。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
