检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
各个使用场景，同时兼顾数据集管理的灵活性，本文档描述数据集管理的接口和描述规范——Manifest文件。 Manifest文件中定义了标注对象和标注内容的对应关系。Manifest文件中也可以只有原始文件信息，没有标注信息，如生成的未标注的数据集。 Manifest文件使用UTF
ModelArts支持通过导入数据集的操作，导入更多数据。本地标注的数据，当前支持从OBS目录导入或从Manifest文件导入两种方式。导入之后您还可以在ModelArts数据管理模块中对数据进行重新标注或修改标注情况。 从OBS目录导入或从Manifest详细操作指导和规范说明请参见导入数据。 父主题：
"src_path" : "https://infers-data.obs.xxxxx.com/xgboosterdata/", "dest_path" : "https://infers-data.obs.xxxxx.com/output/", "req_uri"
CPU使用率 该指标用于统计测量对象的CPU使用率。 百分比（Percent） 0～100% 内存利用率 该指标用于统计测量对象已使用内存占申请物理内存总量的百分比。 百分比（Percent） 0～100% GPU显卡使用率 该指标用于统计测量对象已使用的显卡占显卡容量的百分比。
联网下载SimSun.ttf时可能会遇到网络问题 联网下载SimSun.ttf时肯会遇到网络问题 tonkenization_qwen.py会在cache中读取SimSun.ttf 文件，如果没有，就会联网下载，可能会遇到： SSL:CERTIFICATE_VERIFY_FAILED
联网下载SimSun.ttf时可能会遇到网络问题 联网下载SimSun.ttf时肯会遇到网络问题 tonkenization_qwen.py会在cache中读取SimSun.ttf 文件，如果没有，就会联网下载，可能会遇到： SSL:CERTIFICATE_VERIFY_FAILED
input_data = InputData(obs_path=obs_path, local_path=data_local, is_local_source=False) # 形式2，数据在OBS上，且是一个目录 #obs_path = os.path.join(base_bucket_path
方式二：根据创建训练作业生成的训练作业对象查询。 log = job_instance.get_job_log(task_id="worker-0") print(log) 参数说明 表1 Estimator初始化参数说明 参数 是否必选 参数类型 描述 session 是 Object 会话对象，初始化方法请参考Session鉴权。
dataset：指定输入为数据集； obs：指定输入为OBS路径。 表37 remote 参数 是否必选 参数类型 描述 obs 否 obs object 数据输入输出信息为OBS方式。 表38 obs 参数 是否必选 参数类型 描述 obs_url 是 String 训练作业需要的数据集OBS路径URL。如：“/usr/data/”。
r资源，并确保机器已开通，密码已获取，能通过SSH登录，不同机器之间网络互通。 购买DevServer资源时如果无可选资源规格，需要联系华为云技术支持申请开通。 当容器需要提供服务给多个用户，或者多个用户共享使用该容器时，应限制容器访问Openstack的管理地址（169.254
r资源，并确保机器已开通，密码已获取，能通过SSH登录，不同机器之间网络互通。 购买DevServer资源时如果无可选资源规格，需要联系华为云技术支持申请开通。 当容器需要提供服务给多个用户，或者多个用户共享使用该容器时，应限制容器访问Openstack的管理地址（169.254
该指标用于统计测量对象的CPU使用率。 百分比（Percent） 0～100% 连续2个周期原始值 > 95% 建议 排查是否符合业务资源使用预期，如果业务无问题，无需处理。 CPU内核占用量 ma_container_cpu_used_core 该指标用于统计测量对象已经使用的CPU核个数
是否支持预览。可选值如下： true：支持预览 false：不支持预览 process_parameter 否 String 图像缩略设置，同OBS缩略图设置，详见OBS缩略图设置。如：image/resize,m_lfit,h_200表示等比缩放目标缩略图并设置高度为200像素。 sample_state
on_name String 导出数据集版本的名称。 export_dest String 数据集导出类型。可选值如下： DIR：导出到OBS（默认值） NEW_DATASET：导出到新数据集 export_new_dataset_name String 导出新数据集的名称。 e
大，推荐先通过obsutil工具将数据集传到OBS桶后，再将数据集迁移至SFS。 在本机机器上运行，通过obsutil工具将本地数据集传到OBS桶。 # 将本地数据传至OBS中 # ./obsutil cp ${数据集所在的本地文件夹路径} ${存放数据集的obs文件夹路径} -f
数据传输周期，默认为30s。 表37 Remote 参数 参数类型 描述 obs RemoteObs object 数据实际输出到OBS。 表38 RemoteObs 参数 参数类型 描述 obs_url String 数据实际输出到OBS的路径。 表39 AlgorithmEngine 参数 参数类型
推理，计算资源不计费。 如果运行Notebook实例时，使用公共资源池进行模型训练和推理，计算资源需收费。 存储资源费用：数据存储到对象存储OBS、云硬盘EVS、弹性文件服务SFS中的计费。 表1 计费项 计费项 计费项说明 适用的计费模式 计费公式 计算资源 公共资源池 使用计算资源的用量。
处要勾选ModelArts FullAccess，请谨慎配置。 配置OBS使用权限。搜索OBS，勾选“OBS Administrator”。ModelArts训练作业中需要依赖OBS作为数据中转站，需要配置OBS的使用权限。 配置SWR使用权限。搜索SWR，勾选“SWR Full
LoRA微调训练 前提条件 已上传训练代码、训练权重文件和数据集到SFS Turbo中，具体参考代码上传至OBS和使用Notebook将OBS数据导入SFS Turbo。 Step1 在Notebook中修改训练超参配置 以llama2-13b LORA微调为例，执行脚本0_pl_lora_13b
SFT全参微调训练 前提条件 已上传训练代码、训练权重文件和数据集到SFS Turbo中，具体参考代码上传至OBS和使用Notebook将OBS数据导入SFS Turbo。 Step1 在Notebook中修改训练超参配置 以llama2-13b SFT微调为例，执行脚本 0_pl_sft_13b
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
