检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
5-32b模型暂不支持单卡启动。 支持的rope scaling类型 本方案支持的rope scaling类型包括linear、dynamic和yarn,其中linear方法只支持传入一个固定的scaling factor值,暂不支持传入列表。 模型软件包结构说明 本教程需要使用到的AscendCloud-6.3
/v2/{project_id}/processor-tasks 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 表2 Query参数 参数 是否必选 参数类型 描述 limit 否 Integer 指定每一页返回的最大条目数,取值范围[1
“保存路径”:即导出数据存储的路径。建议不要将数据存储至当前数据集所在的输入路径或输出路径。 图12 导出至OBS 数据导出成功后,您可以前往您设置的保存路径,查看到存储的数据。 查看任务历史 当您导出数据后,可以通过任务历史查看导出任务明细。 在数据集详情页面中,单击右上角“任务历史
是否自动停止:为了避免资源浪费,建议您打开该开关,根据您的需求,选择自动停止时间,也可以自定义自动停止的时间。 图2 选择计算节点规格 图3 设置自动停止 参数填写完毕之后,单击运行状况右边的“继续运行”,单击确认弹窗中的“确定”即可继续完成工作流的运行。 步骤六:预测分析 运行完成
是否自动停止:为了避免资源浪费,建议您打开该开关,根据您的需求,选择自动停止时间,也可以自定义自动停止的时间。 图2 选择计算节点规格 图3 设置自动停止 参数填写完毕之后,单击运行状况右边的“继续运行”,单击确认弹窗中的“确定”即可继续完成工作流的运行。 步骤六:预测分析 运行完成
json,数据大小:43.6 MB。 自定义数据 预训练数据:用户也可以自行准备预训练数据。数据要求如下: 使用标准的.json格式的数据,通过设置--json-key来指定需要参与训练的列。请注意huggingface中的数据集具有如下this格式。可以使用–json-key标志更改
单击“添加授权”。在“访问授权”页面,在“授权对象类型”下面选择“IAM子用户”,“授权对象”选择开发者的账号,“委托选择”选择“新增委托”,“委托名称”设置为“ma_agency_develop_user”,“权限配置”选择“自定义”,“权限名称”勾选“OBS Administrator”。开
必须修改。加载tokenizer与Hugging Face权重时存放目录绝对或相对路径。请根据实际规划修改。 template qwen 必须修改。用于指定模板。如果设置为"qwen",则使用Qwen模板进行训练,模板选择可参照表1中的template列 output_dir /home/ma-user/w
支持的rope scaling类型 本方案支持的rope scaling类型包括linear、dynamic和yarn,其中linear方法只支持传入一个固定的scaling factor值,暂不支持传入列表。 模型软件包结构说明 本教程需要使用到的AscendCloud-6.3
json,数据大小:43.6 MB。 自定义数据 预训练数据:用户也可以自行准备预训练数据。数据要求如下: 使用标准的.json格式的数据,通过设置--json-key来指定需要参与训练的列。请注意huggingface中的数据集具有如下this格式。可以使用–json-key标志更改
json,数据大小:43.6 MB。 自定义数据 预训练数据:用户也可以自行准备预训练数据。数据要求如下: 使用标准的.json格式的数据,通过设置--json-key来指定需要参与训练的列。请注意huggingface中的数据集具有如下this格式。可以使用–json-key标志更改
修改msvd_eval.sh参数 修改scripts/video/eval/msvd_eval.sh中的参数 模型存放的地方,如果根据第2步的方式保存的模型,设置如下: CKPT="llama-vid/llama-vid-7b-full-224-video-fps-1" 调用openai的key,评
是否必选 参数类型 描述 dataset_id 是 String 数据集ID。 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 请求参数 表2 请求Body参数 参数 是否必选 参数类型 描述 collect_key_sample 否 Boolean
job_name="job_name_5") 参数说明 表1 Estimator请求参数说明 参数 是否必选 类型 描述 session 是 Object 会话对象,初始化方法请参考Session鉴权。 training_files 否 TrainingFiles Object 训练脚本在OBS中的路径,具体请参考TrainingFiles初始化。
json,数据大小:43.6 MB。 自定义数据 预训练数据:用户也可以自行准备预训练数据。数据要求如下: 使用标准的.json格式的数据,通过设置--json-key来指定需要参与训练的列。请注意huggingface中的数据集具有如下this格式。可以使用–json-key标志更改
json,数据大小:43.6 MB。 自定义数据 预训练数据:用户也可以自行准备预训练数据。数据要求如下: 使用标准的.json格式的数据,通过设置--json-key来指定需要参与训练的列。请注意huggingface中的数据集具有如下this格式。可以使用–json-key标志更改
务器页面。 图8 节点管理 单击“远程登录”,在弹出的窗口中,单击“CloudShell登录”。 图9 远程登录 在CloudShell中设置密码等参数后,单击“连接”即可登录节点,CloudShell介绍可参见远程登录Linux弹性云服务器(CloudShell方式) 。 配置kubectl工具。
必须修改。加载tokenizer与Hugging Face权重时存放目录绝对或相对路径。请根据实际规划修改。 template qwen 必须修改。用于指定模板。如果设置为"qwen",则使用Qwen模板进行训练,模板选择可参照表1中的template列 output_dir /home/ma-user/w
json,数据大小:43.6 MB。 自定义数据 预训练数据:用户也可以自行准备预训练数据。数据要求如下: 使用标准的.json格式的数据,通过设置--json-key来指定需要参与训练的列。请注意huggingface中的数据集具有如下this格式。可以使用–json-key标志更改
是否自动停止:为避免资源浪费,建议打开自动停止开关,根据您的实际需要,选择自动停止时间,也可以自定义自动停止的时间。 图3 选择计算节点规格 图4 设置自动停止 参数填写完毕之后,单击运行状况右边的“继续运行”,单击确认弹窗中的“确定”即可继续完成工作流的运行。 步骤五:预测分析 运行完成