检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
各个模型训练前文件替换 在训练开始前，因模型权重文件可能与训练框架不匹配或有优化，因此需要针对模型的tokenizer文件进行修改或替换，不同模型的tokenizer文件修改内容如下。 falcon-11B模型 在训练开始前，针对falcon-11B模型中的tokenizer文件，需要替
各个模型训练前文件替换 在训练开始前，因模型权重文件可能与训练框架不匹配或有优化，因此需要针对模型的tokenizer文件进行修改或替换，不同模型的tokenizer文件修改内容如下。 falcon-11B模型 在训练开始前，针对falcon-11B模型中的tokenizer文件，需要替
训练tokenizer文件说明 在训练开始前，需要针对模型的tokenizer文件进行修改，不同模型的tokenizer文件修改内容如下，您可在创建的Notebook中对tokenizer文件进行编辑。 ChatGLMv3-6B 在训练开始前，针对ChatGLMv3-6B模型中的
日志文件的大小达到限制 问题现象 ModelArts训练作业在运行过程中报错，提示日志文件的大小已达到限制： modelarts-pope: log length overflow(max:1073741824; already: 107341771; new:90), process
各个模型训练前文件替换 在训练开始前，因模型权重文件可能与训练框架不匹配或有优化，因此需要针对模型的tokenizer文件进行修改或替换，不同模型的tokenizer文件修改内容如下。 falcon-11B模型 在训练开始前，针对falcon-11B模型中的tokenizer文件，需要替
各个模型训练前文件替换 在训练开始前，因模型权重文件可能与训练框架不匹配或有优化，因此需要针对模型的tokenizer文件进行修改或替换，不同模型的tokenizer文件修改内容如下。 falcon-11B模型 在训练开始前，针对falcon-11B模型中的tokenizer文件，需要替
各个模型训练前文件替换 在训练开始前，因模型权重文件可能与训练框架不匹配或有优化，因此需要针对模型的tokenizer文件进行修改或替换，不同模型的tokenizer文件修改内容如下。 falcon-11B模型 在训练开始前，针对falcon-11B模型中的tokenizer文件，需要替
训练tokenizer文件说明 在训练开始前，需要针对模型的tokenizer文件进行修改，不同模型的tokenizer文件修改内容如下，您可在创建的Notebook中对tokenizer文件进行编辑。 ChatGLMv3-6B 在训练开始前，针对ChatGLMv3-6B模型中的
模型配置文件编写说明 模型开发者发布模型时需要编写配置文件config.json。模型配置文件描述模型用途、模型计算框架、模型精度、推理代码依赖包以及模型对外API接口。 配置文件格式说明 配置文件为JSON格式，参数说明如表1所示。 表1 参数说明 参数 是否必选 参数类型 描述
执行如下命令，查看训练环境的cuda版本，确认当前cuda版本是否支持so文件。 os.system("cat /usr/local/cuda/version.txt") 支持。当前cuda版本无so文件，需外部导入so文件（自行在浏览器下载），再设置LD_LIBRARY_PATH，具体见2。
String 下载的源OBS文件夹，必须以“obs://”作为前缀，文件夹后缀必须以"/"结尾。当下载的文件夹下有文件夹且内容为空时，对应路径下不产生对应空文件夹。 dst_local_dir 是 String 下载的目标本地文件夹，下载的目标本地文件夹后缀必须以“/”结尾。 表2
创建和保存Pascal VOC文件 需要先创建包含Pascal VOC信息的对象，然后保存。Pascal VOC信息请见表2。路径支持本地和OBS，如果是OBS，需要Session信息。 pascal_voc.save_xml(xml_file_path, save_mode='w'
ints文件夹的数据到新建的文件夹下。 执行mkdir xxx命令，新建一个文件夹，例如“xxx”（不要用checkpoints关键字命名） 然后移动checkpoints文件夹的数据到新建的文件夹下，删除根目录下checkpoints文件夹即可。 mv checkpoints/*
下载多个文件 根据文件名下载文件 在服务器执行如下命令，将待下载的文件名枚举出来即可从AI Gallery仓库依次下载多个文件到云服务器的缓存目录下。 gallery-cli download {repo_id} {文件名} {文件名} 其中，“repo_id”如何获取，文件名如何获取。
自如何获取ModelArts训练容器中的文件实际路径？ 如果容器中的文件实际路径不清楚，可以使用Python获取当前文件路径的方法获取。 os.getcwd() #获取文件当前工作目录路径（绝对路径） os.path.realpath(__ file __) #获得文件所在的路径（绝对路径） 也
2.txt 单标签的标签文件示例，如1.txt文件内容如下所示： Cat 多标签的标签文件示例，如2.txt文件内容如下所示： Cat Dog 只支持JPG、JPEG、PNG、BMP格式的图片。单张图片大小不能超过5MB，且单次上传的图片总大小不能超过8MB。 物体检测
在ModelArts中如何查看OBS目录下的所有文件？ 在使用Notebook或训练作业时，需要查看目录下的所有文件，您可以通过如下方式实现： 通过OBS管理控制台进行查看。 使用当前账户登录OBS管理控制台，去查找对应的OBS桶、文件夹、文件。 通过接口判断路径是否存在。在已有的No
在ModelArts训练代码中，如何获取依赖文件所在的路径？ 由于用户本地开发的代码需要上传至ModelArts后台，训练代码中涉及到依赖文件的路径时，用户设置有误的场景较多。因此推荐通用的解决方案：使用os接口得到依赖文件的绝对路径，避免报错。 以下示例展示如何通过os接口获得其他文件夹下的依赖文件路径。 文件目录结构：
附录：rank_table_file.json文件 rank_table_file.json文件样例如下，需要根据实际修改device_ip，server_id，container_ip参数，4台机器上的rank_table_file.json文件内容一致。在步骤四：创建rank_table_file
目前只有“图像分类”、“物体检测”、“图像分割”类型的数据集支持导出功能。 “图像分类”只支持导出txt格式的标注文件。 “物体检测”只支持导出Pascal VOC格式的XML标注文件。 “图像分割”只支持导出Pascal VOC格式的XML标注文件以及Mask图像。 导出到AI Gallery 用户可以将自己的数据发布到AI
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
