检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
output2=obs://bucket/output2 --input String 否 训练的输入信息，指定后，训练作业将会把对应OBS上的数据下载到训练容器，并将数据存储路径通过指定的参数传递给训练脚本。如果需要指定多个参数，可以使用--input data_path1=obs://bucket/data1
HCCL RANK_TABLE_FILE文件名为jobstart_hccl.json，获取方式可以通过预置的RANK_TABLE_FILE环境变量实现。 表1 RANK_TABLE_FILE环境变量说明 环境变量 说明 RANK_TABLE_FILE 该环境变量指示Ascend HCCL
|──llm_tools # 推理工具 代码上传至OBS 将llm_train文件上传至OBS中。 结合准备数据、准备权重、准备代码，将数据集、原始权重、代码文件都上传至OBS后，OBS桶的目录结构如下。 <bucket_name> |──llm_train
|──llm_tools # 推理工具 代码上传至OBS 将llm_train文件上传至OBS中。 结合准备数据、准备权重、准备代码，将数据集、原始权重、代码文件都上传至OBS后，OBS桶的目录结构如下。 <bucket_name> |──llm_train
将AscendSpeed代码包AscendCloud-3rdLLM-905-xxx.zip在本地解压缩后，将llm_train文件上传至OBS中。 结合准备数据、准备权重、准备代码，将数据集、原始权重、代码文件都上传至OBS后，OBS桶的目录结构如下。 <bucket_name> |──llm_train
String 输入数据的名称，支持1到64位只包含英文、数字、下划线（_）和中划线（-）的字符。 type String 输入项类型。枚举值如下： dataset：数据集 obs：OBS data_selector：数据选择 data Object 输入项数据。 value Object
mmlu_subject_mapping.json # 数据集配置 ├── ... ├── evaluators ├── evaluator.py # 数据集数据预处理方法集 ├──
目录下）。 查看待安装包的安装限制和前置依赖等，排查是否满足相关要求。 如果包有依赖关系，请参考导入模型时，模型配置文件中的安装包依赖参数如何编写？章节配置包的先后依赖关系。 父主题： 模型管理
步骤七 下载数据集 数据集需从huggingface下载LLaVA-Pretrain，VideoGPT-plus_Training_Dataset(其中的vcg-plus_112K.json和activitynet_videos.tgz)。 方式1：手动下载以上所列数据集，并将其放
OBS对象。 动态挂载适用于哪些使用场景 场景1：数据集预览和操作，将承载数据集的OBS挂载至Notebook中，可以像本地文件系统一样操作数据集。 场景2：在Notebook中训练时，可直接使用挂载至Notebook容器中的数据集。 动态挂载OBS并行文件系统有什么限制 OBS
|── data # 预处理后数据 |── pretrain # 预训练加载的数据 |── finetune # 微调加载的数据 |──converted_weights #
/datasets/pixart-sigma-toy-dataset 修改数据集格式： 只需在数据集根目录创建个.py文件，读取其数据集格式做成flux数据集即可。 vim ${work_dir}/datasets/data.py #---------------data.py
Client，无法使用DHCP获取IP。正常情况下裸金属服务器这个参数是被注释的状态。 当服务器有网卡配置文件， NetworkManager.service实现将VPC子网分配的私有IP写入网卡配置文件中。NetworkManager.service会优先读取网卡配置文件中的IP设置为主机IP， 此时无论DH
若用户的机器或资源池无法连通网络，并无法git clone下载代码、安装python依赖包的情况下，用户则需要找到已联网的机器（本章节以Linux系统机器为例）提前下载资源，以实现离线安装。用户可遵循以下步骤： 步骤一：资源下载 Python依赖包下载：进入 scripts/install.sh 文件中，找到需要安装
目录下执行上述ma-pre-start脚本，使用该机制可以更新容器镜像内安装的Ascend RUN包，或者设置一些训练运行时额外需要的全局环境变量。 如何查看训练作业日志 在训练作业详情页，训练日志窗口提供日志预览、日志下载、日志中搜索关键字、系统日志过滤能力。 预览 系统日志窗口提供训练日
OBS SDK OBS服务提供的SDK，对OBS进行操作。由于ModelArts较多功能需使用OBS中存储的数据，用户可使用OBS SDK进行调用，使用OBS存储您的数据。 OBS提供了多种语言SDK供选择，开发者可根据使用习惯下载OBS SDK进行调用。使用OBS SDK前，需下载OBS
import moxing as mox 引入moxing framework的数据下载加速特性的相关说明 在使用基于ModelArts预置镜像的训练作业时，可以引入moxing framework的数据下载加速特性。加速特性适用场景为：文件数在100w~1000w的场景、单个大文件及文件大小大于20GB的场景。
批量服务创建时填写的环境变量。 任务结束时间 本次批量服务的任务结束时间。 描述 您可以单击编辑按钮，添加服务描述。 输入数据目录位置 本次批量服务中，输入数据的OBS路径。 输出数据目录位置 本次批量服务中，输出数据的OBS路径。 模型名称＆版本 本次批量服务所使用的模型名称及版本。 运行日志输出 默认关闭
修改之后再次做溢出检查显示所有API正常，无溢出情况。 GPU dump数据缺失，从Tensor_transpose_2_forward_output之后没有与NPU对应的bench data数据。 图5 GPU dump数据 在pkl文件中找到对应缺失的位置，发现Tensor_trans
准备工作 完成准备工作内容，生成benchmark-cli工具。 解压版本包data.tgz：测试样例数据；比如工作目录为：/homa/ma-user/LLaMAFactory # 将默认数据解压config同级目录 tar -zxvf ./benchmark/data.tgz ./benchmark/
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
