检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
json格式的数据,通过设置--json-key来指定需要参与训练的列。 请注意huggingface中的数据集具有如下this格式。可以使用–json-key标志更改数据集文本字段的名称,默认为text。在维基百科数据集中,它有四列,分别是id、url、title和text。可以指定–json-key标志来选择用于训练的列。
持pip安装方式。dependency结构数组说明如表6所示。 如果模型包内没有推理代码customize_service.py文件,则该字段可不填。自定义镜像模型不支持安装依赖包。 说明: “dependencies”参数支持多个“dependency”结构数组,以list格式
json格式的数据,通过设置--json-key来指定需要参与训练的列。 请注意huggingface中的数据集具有如下this格式。可以使用–json-key标志更改数据集文本字段的名称,默认为text。在维基百科数据集中,它有四列,分别是id、url、title和text。可以指定–json-key标志来选择用于训练的列。
请求是否成功。 error_message String 调用失败时的错误信息。 调用成功时无此字段。 error_code String 调用失败时的错误码,具体请参见错误码。 调用成功时无此字段。 请求示例 如下以停止“job_id”为10,“version_id”为10的作业版本为例。
本案例将基于ModelArts提供的MindSpore预置镜像,并借助ModelArts命令行工具(请参考ma-cli镜像构建命令介绍),通过加载镜像构建模板并修改Dockerfile,构建出一个新镜像,最后注册后在Notebook使用。 操作流程 创建Notebook。 在Notebook中制作自定义镜像。
ning)以优化模型性能。修改数据集路径、模型路径。数据集路径格式为/datasets/pokemon-dataset/image_0.png,脚本里写到pokemon-dataset路径即可。 kohya_finetune.toml文件里数据集路径更改为pokemon-dataset路径。
参数 参数类型 描述 key String 参数键。 value String 参数值。 type String 参数种类。 请求示例 如下以修改uuid为2e5451fe-913f-4492-821a-2981031382f7的算法为例。 PUT https://endpoint/
请求是否成功。 error_message String 调用失败时的错误信息。 调用成功时无此字段。 error_code String 调用失败时的错误码,具体请参见错误码。调用成功时无此字段。 log_file_list String 训练作业的日志文件名。单机作业日志仅有一个文件,分布式作业日志有多个文件。
用户项目ID。获取方法请参见获取项目ID和名称。 algorithm_id 是 String 算法ID。 请求参数 无 响应参数 无 请求示例 如下以修改uuid为2e5451fe-913f-4492-821a-2981031382f7的算法为例。 DELETE https://endpoi
过滤方式。可选值如下: equal表示精确匹配。 contain表示模糊匹配。 具体过滤的字段,由各个接口额外定义参数。例如Workflow支持按照名称(name)进行过滤,则相应的过滤字段为name。name=workflow&search_type=contain表示查询名称
DatasetImportInput(name="input_name_1", data=dataset), # 目标数据集在运行时配置;data字段也可使用wf.data.Dataset(dataset_name="dataset_name")表示 wf.steps.D
数据,当前支持从OBS目录导入或从Manifest文件导入两种方式。导入之后您还可以在ModelArts数据管理模块中对数据进行重新标注或修改标注情况。 从OBS目录导入或从Manifest详细操作指导和规范说明请参见导入数据。 父主题: Standard数据管理
化模型性能。 训练前需要修改数据集路径、模型路径。数据集路径格式为/datasets/pokemon-dataset/image_0.png,脚本里写到pokemon-dataset路径即可。 将kohya_finetune.toml文件里数据集路径更改为pokemon-dataset路径。
sort_by 否 String 排序依据字段,例如sort_by=create_time,则表示以条目的创建时间进行排序。 search_type 否 String 过滤方式。可选值如下: equal表示精确匹配。 contain表示模糊匹配。 具体过滤的字段,由各个接口额外定义参数。例如
制为[0, 256]。 响应参数 无 请求示例 如下以修改uuid为3faf5c03-aaa1-4cbe-879d-24b05d997347的训练作业为例。修改成功后再调用查询训练作业接口即可看到description已被修改。 PUT https://endpoint/v2/{
失败相应说明 参数 参数类型 描述 error_code String 调用失败时的错误码。调用成功时无此字段。 error_msg String 调用失败时的错误信息。调用成功时无此字段。 父主题: OBS管理
ProcessorDataSource objects 数据处理任务的输入通道。 modified_sample_count Integer 处理后修改的图片数量。 origin_sample_count Integer 处理前的图片数量。 status Integer 数据处理任务的状态。可选值如下:
通过API接口创建训练作业时,在“metadata”字段的“annotations”中传入“fault-tolerance/job-retry-num”和“fault-tolerance/job-unconditional-retry”字段。“fault-tolerance/job-r
练日志。 # 任意目录创建 mkdir test-benchmark 修改yaml文件参数中model_name_or_path、dataset_dir和dataset或eval_dataset参数配置,修改代码目录下accuracy_cfgs.yaml或performance_cfgs
完成切换。 查看修改的内容 如果修改代码库中的某个文件,在“Changes”页签的“Changed”下可以看到修改的文件,并单击修改文件名称右侧的“Diff this file”,可以看到修改的内容。 图7 查看修改的内容 提交修改的内容 确认修改无误后,单击修改文件名称右侧的“Stage