检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ta.sh 。 预训练数据集预处理参数说明 预训练数据集预处理脚本scripts/llama2/1_preprocess_data.sh 中的具体参数如下： --input：原始数据集的存放路径。 --output-prefix：处理后的数据集保存路径+数据集名称（例如：moss-003-sft-data）。
ta.sh 。 预训练数据集预处理参数说明 预训练数据集预处理脚本scripts/llama2/1_preprocess_data.sh 中的具体参数如下： --input：原始数据集的存放路径。 --output-prefix：处理后的数据集保存路径+数据集名称（例如：moss-003-sft-data）。
数据管理（旧版） 查询数据集列表 创建数据集 查询数据集详情 更新数据集 删除数据集 查询数据集的统计信息 查询数据集监控数据 查询数据集的版本列表 创建数据集标注版本 查询数据集版本详情 删除数据集标注版本 查询样本列表 批量添加样本 批量删除样本 查询单个样本信息 获取样本搜索条件
标注任务管理 创建标注任务 查询数据集的标注任务列表 查询标注任务详情 父主题： 数据管理
使用MoXing复制数据报错 问题现象 调用moxing.file.copy_parallel()将文件从开发环境的OBS桶中复制到其他OBS桶里，但是桶内没有出现目标文件。 使用MoXing复制数据不成功，出现报错。如： ModelArts开发环境使用MoXing复制OBS数据报错：keyError:
1：置信度偏低。 2：基于训练数据集的聚类结果和预测结果不一致。 3：预测结果和训练集同类别数据差异较大。 4：连续多张相似图片的预测结果不一致。 5：图像的分辨率与训练数据集的特征分布存在较大偏移。 6：图像的高宽比与训练数据集的特征分布存在较大偏移。 7：图像的亮度与训练数据集的特征分布存在较大偏移。
ModelLink预训练数据集预处理参数说明 预训练数据集预处理脚本 scripts/llama2/1_preprocess_data.sh 中的具体参数如下： --input：原始数据集的存放路径。 --output-prefix：处理后的数据集保存路径+数据集名称（例如：alpaca_gpt4_data）。
ModelLink预训练数据集预处理参数说明 预训练数据集预处理脚本scripts/llama2/1_preprocess_data.sh 中的具体参数如下： --input：原始数据集的存放路径。 --output-prefix：处理后的数据集保存路径+数据集名称（例如：moss-003-sft-data）。
导出任务管理 查询导出任务列表 创建导出任务 查询导出任务状态 父主题： 数据管理
ModelArts将存储在OBS中的模型部署上线为在线服务。 AI全流程开发 数据管理 数据集存储在OBS中。 数据集的标注信息存储在OBS中。 支持从OBS中导入数据。 开发环境 Notebook实例中的数据或代码文件存储在OBS中。 训练模型 训练作业使用的数据集存储在OBS中。 训练作业的运行脚本存储在OBS中。
针对不同的数据量和算法情况，推荐以下训练方案： 单机单卡：小数据量（1G训练数据）、低算力场景（1卡Vnt1），存储方案使用“OBS的并行文件系统（存放数据和代码）”。 单机多卡：中等数据量（50G左右训练数据）、中等算力场景（8卡Vnt1），存储方案使用“SFS（存放数据和代码）”。
在ModelArts控制台的AI应用管理模块中，将模型部署为一个AI应用。 登录ModelArts控制台，单击“AI应用管理 > AI应用 > 创建”，开始创建AI应用。 图2 创建AI应用 设置创建AI应用的相应参数。此处仅介绍关键参数，设置AI应用的详细参数解释请参见从OBS中选择元模型。
导入任务管理 查询导入任务列表 创建导入任务 查询导入任务状态 父主题： 数据管理
ModelLink预训练数据集预处理参数说明 预训练数据集预处理脚本scripts/llama2/1_preprocess_data.sh 中的具体参数如下： --input：原始数据集的存放路径。 --output-prefix：处理后的数据集保存路径+数据集名称（例如：moss-003-sft-data）。
训练的数据集预处理说明 以llama2-13b举例，使用训练作业运行：obs_pipeline.sh 训练脚本后，脚本自动执行数据集预处理，并检查是否已经完成数据集预处理。 如果已完成数据集预处理，则直接执行训练任务。如果未进行数据集预处理，则会自动执行scripts/llama2/1_preprocess_data
Standard上选择合适的训练方案并进行模型训练。 针对不同的数据量和算法情况，推荐以下训练方案： 单机单卡：小数据量（1G训练数据）、低算力场景（1卡Vnt1），存储方案推荐使用“OBS的并行文件系统（存放数据和代码）”。 单机多卡：中等数据量（50G左右训练数据）、中等算力场景（8卡Vnt1），存储
批量删除样本 根据样本的ID列表批量删除数据集中的样本。 dataset.delete_samples(samples) 示例代码 批量删除数据集中的样本 from modelarts.session import Session from modelarts.dataset import
解析Manifest文件 解析Manifest文件，支持本地和OBS。如果是OBS，需要Session信息。 manifest.parse_manifest(manifest_path, encoding='utf-8') 示例代码 通过Manifest路径来解析获取Manifest的信息。
选择，示例如下。 输入数据集变量：是否使用已处理好数据集； 是，设置以下变量 USER_PROCESSED_DATA_DIR:已处理好数据路径目录 否，使用原始数据集，设置以下变量 ORIGINAL_TRAIN_DATA_PATH：训练时指定的输入原始数据集路径。 输入权重词表变
示例值需要根据数据集的不同，选择其一。 GeneralPretrainHandler：使用预训练的alpaca数据集。 GeneralInstructionHandler：使用微调的alpaca数据集。 MOSSMultiTurnHandler：使用微调的moss数据集。 MBS 4
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
