检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
<path/to/image1.jpg>#例如 obj_train_data/image.jpg <path/to/image2.jpg>#例如 obj_train_data/image.jpg ... obj_train_data/ 和obj_valid_data/目录下的.txt文件应该包含对应图像的b
tokenizer路径需要和推理服务启动时--model路径保持一致,比如--model /data/nfs/model/llama_7b, --tokenizer也需要为/data/nfs/model/llama_7b,两者要完全一致。 --min-input:输入tokens最小长度,可以根据实际需求设置。
analyze all --data-dir='/temp/profiling_dir' 图5 命令样例 命令执行后同时会生成各场景优化建议的html,相关算子问题概览会按照不同建议进行汇总。 图6 生成结果 表1 参数解释 参数 缩写 是否必填 说明 --data-dirhttps://www
旧版数据集中创建的数据不会被清理,旧版数据集中会自动关联一个数据标注任务。 但是在新版数据集中创建的数据,在旧版的数据集列表不会展示。 父主题: Standard数据管理
"enable" : true } 状态码 状态码 描述 201 定时调度信息。 错误码 请参见错误码。 父主题: Workflow工作流管理
200 OK 401 Unauthorized 403 Forbidden 404 Not Found 错误码 请参见错误码。 父主题: 数据管理(旧版)
停止训练作业版本 功能介绍 停止训练作业。 此接口为异步接口,作业状态请通过查询训练作业列表和查询训练作业版本详情接口获取。 URI POST /v1/{project_id}/training-jobs/{job_id}/versions/{version_id}/stop 参数说明如表1所示。
查询训练作业日志 功能介绍 按行来查询训练作业日志详细信息。 URI GET /v1/{project_id}/training-jobs/{job_id}/versions/{version_id}/aom-log 参数说明如表1所示。 表1 路径参数 参数 是否必选 参数类型
"job_step:stop" ] } 状态码 状态码 描述 200 订阅信息。 错误码 请参见错误码。 父主题: Workflow工作流管理
和训练结束后输出数据的路径。 在“输入”的输入框内设置变量:ORIGINAL_TRAIN_DATA_PATH、ORIGINAL_HF_WEIGHT。 ORIGINAL_TRAIN_DATA_PATH:训练时指定的输入数据集路径。 ORIGINAL_HF_WEIGHT:加载tokenizer与Hugging
pt4_data.json数据集前缀则为alpaca_gpt4_data。 dataset: alpaca_gpt4_data dataset_dir: /home/ma-user/ws/llm_train/LLaMAFactory/LLaMA-Factory/data 否,使用
查询引擎规格列表 示例代码 在ModelArts notebook平台,Session鉴权无需输入鉴权参数。其它平台的Session鉴权请参见Session鉴权。 from modelarts.session import Session from modelarts.estimatorV2
st文件导入两种方式。导入之后您还可以在ModelArts数据管理模块中对数据进行重新标注或修改标注情况。 从OBS目录导入或从Manifest详细操作指导和规范说明请参见导入数据。 父主题: Standard数据管理
<>=&"'特殊字符。 email String 标注成员邮箱。 role Integer 角色。可选值如下: 0:打标者 1:审核者 2:团队管理者 3:数据集拥有者 status Integer 标注成员的当前登录状态。可选值如下: 0:未发送邀请邮件 1:已发送邀请邮件但未登录 2:已登录
删除可视化作业 功能介绍 删除可视化作业。此接口为异步接口,作业状态请通过查询可视化作业列表与查询可视化作业详情接口获取。 URI DELETE /v1/{project_id}/visualization-jobs/{job_id} 参数说明如表1所示。 表1 参数说明 参数 是否为必选
请注意,变更镜像后可能会导致Notebook实例无法启动,镜像对应的Notebook实例规格不匹配,对应的收费规则也会随着镜像的变更而变化,请谨慎操作。 登录ModelArts管理控制台,在左侧菜单栏中选择“开发环境 > Notebook”,进入Notebook页面。 在Notebook列表,单击某个Notebook实例操作栏的“更多
|── ${model_name} # 模型名称 |── data # 预处理后数据 |── pretrain # 预训练加载的数据
|── ${model_name} # 模型名称 |── data # 预处理后数据 |── pretrain # 预训练加载的数据
ama2-13b中创建文件夹training_data。 利用OBS Browser+工具将步骤1下载的数据集上传至步骤2创建的文件夹目录下。得到OBS下数据集结构: obs://<bucket_name>/training_data |── train-00000
|── ${model_name} # 模型名称 |── data # 预处理后数据 |── pretrain # 预训练加载的数据