检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
必须修改。加载tokenizer与Hugging Face权重时存放目录绝对或相对路径。请根据实际规划修改。 template qwen 必须修改。用于指定模板。如果设置为"qwen",则使用Qwen模板进行训练,模板选择可参照表1中的template列 output_dir /home/ma-user/w
session 是 Object 会话对象,初始化方法请参考Session鉴权。 offset 否 Integer 查询作业的偏移量,最小为0。例如设置为1,则表示从第二条开始查。 limit 否 Integer 查询作业的限制量。最小为1,最大为50。 sort_by 否 String
是否自动停止:为避免资源浪费,建议打开自动停止开关,根据您的实际需要,选择自动停止时间,也可以自定义自动停止的时间。 图3 选择计算节点规格 图4 设置自动停止 参数填写完毕之后,单击运行状况右边的“继续运行”,单击确认弹窗中的“确定”即可继续完成工作流的运行。 步骤五:预测分析 运行完成
json,数据大小:43.6 MB。 自定义数据 预训练数据:用户也可以自行准备预训练数据。数据要求如下: 使用标准的.json格式的数据,通过设置--json-key来指定需要参与训练的列。请注意huggingface中的数据集具有如下this格式。可以使用–json-key标志更改
with_execution_id 表示创建目录时是否拼接execution_id,默认为“False”。该字段只有在create_dir为True时才支持设置为True。 否 bool 使用示例如下: 实现InputStorage相同的能力 import modelarts.workflow as
String 模型来源的类型,当前仅可取值auto,用于区分通过自动学习部署过来的模型(不提供模型下载功能);用户通过训练作业部署的模型不设置此值。默认值为空。 model_type 是 String 模型类型,取值为:TensorFlow/MXNet/Spark_MLlib/S
json,数据大小:43.6 MB。 自定义数据 预训练数据:用户也可以自行准备预训练数据。数据要求如下: 使用标准的.json格式的数据,通过设置--json-key来指定需要参与训练的列。请注意huggingface中的数据集具有如下this格式。可以使用–json-key标志更改
String 执行的时长。 events Array of strings 执行的事件。 labels Array of strings 为执行记录设置的标签。 data_requirements Array of DataRequirement objects 节点steps使用到的数据。
|──llm_tools # 推理工具 工作目录介绍 详细的工作目录参考如下,建议参考以下要求设置工作目录。训练脚本以分类的方式集中在 scripts 文件夹中。 ${workdir}(例如使用SFS Turbo的路径:/mnt/sfs_turbo/)
String 执行的时长。 events Array of strings 执行的事件。 labels Array of strings 为执行记录设置的标签。 data_requirements Array of DataRequirement objects 节点steps使用到的数据。
请求参数 表2 请求Body参数 参数 是否必选 参数类型 描述 action_type 是 String 对训练作业的操作请求。参数值设置为terminate时,表示终止训练作业操作。 响应参数 状态码: 202 表3 响应Body参数 参数 参数类型 描述 kind String
scheduler实例中NODE_PORTS=8088,8089;端口设置顺序必须与global rank table文件中各全量和增量节点顺序一致,否则会报错。 确保scheduler实例和P、D实例之间网络通畅,检查代理设置例如no_proxy环境变量,避免scheduler访问P、D实例时走不必要的网关。
使用导入的模型权重覆盖所有初始化的权重 # 4. 调用 PretrainedConfig.from_pretrained(dir)来将配置设置到self.config中 PretrainedModel.from_pretrained(dir) # 将模型实例序列化到 dir/pytorch_model
WorkflowStorage objects Workflow包含的统一存储定义。 labels Array of strings 为Workflow工作流设置的标签。 assets Array of WorkflowAsset objects 工作流绑定的资产。 sub_graphs Array
String 执行的时长。 events Array of strings 执行的事件。 labels Array of strings 为执行记录设置的标签。 data_requirements Array of DataRequirement objects 节点steps使用到的数据。
在线/批量服务使用的AI专属资源池弹性集群的资源池ID,仅当配置专属资源池时返回。 load_balancer_policy String 在线同步服务设置elb后端转发策略详情枚举值:ROUND_ROBIN(加权轮询算法),LEAST_CONNECTIONS(加权最少连接),SOURCE_IP(源ip算法)
WorkflowStorage objects Workflow包含的统一存储定义。 labels Array of strings 为Workflow工作流设置的标签。 assets Array of WorkflowAsset objects 工作流绑定的资产。 sub_graphs Array
表的右上角单击“选择当前页”,则当前页面所有的图片将选中。 为选中图片添加标签。 在右侧的“添加标签”区域中,单击“标签名”右侧的文本框中设置标签。 单击“标签名”右侧的文本框,然后从下拉列表中选择已有的标签。如果已有标签无法满足要求时,直接在文本框中添加新标签。 单击“确定”。
WorkflowStorage objects Workflow包含的统一存储定义。 labels Array of strings 为Workflow工作流设置的标签。 assets Array of WorkflowAsset objects 工作流绑定的资产。 sub_graphs Array
即model_step_2会跳过,因此最终执行的节点有condition_step、job_step_1、model_step_1。 如果设置left_value的值为Fasle,则condition逻辑表达式计算结果为False:job_step_2执行,job_step_1跳