检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
未上传训练权重文件,具体参考上传代码和权重文件到工作环境。 使用自定义数据集训练未上传自定义数据集。具体参考上传自定义数据到指定目录章节并更新dataset_info.json 文件。 步骤二 修改训练yaml文件配置 LlamaFactroy配置文件为Yaml文件,启动训练前需
必须为/home下的目录。 v1兼容模式下,当前字段不生效。 当code_dir以file://为前缀时,当前字段不生效。 working_dir 否 String 运行算法时所在的工作目录。规则:v1兼容模式下,当前字段不生效。 job_description 否 String 训练作业的描述。
bf16,配置以下参数 bf16: true fp16,配置以下参数 fp16: true 是否使用自定义数据集 是,参考准备数据(可选)后,填写自定义注册后数据集前缀名称及数据集绝对路径,参考表1dataset_dir行,如demo.json数据集前缀则为demo dataset: demo
未上传训练权重文件,具体参考上传代码和权重文件到工作环境。 使用自定义数据集训练未上传自定义数据集。具体参考上传自定义数据到指定目录章节并更新dataset_info.json 文件。 步骤二:修改训练yaml文件配置 LlamaFactroy配置文件为Yaml文件,启动训练前需
未上传训练权重文件,具体参考上传代码和权重文件到工作环境。 使用自定义数据集训练未上传自定义数据集。具体参考上传自定义数据到指定目录章节并更新dataset_info.json 文件。 步骤二 修改训练yaml文件配置 LlamaFactroy配置文件为Yaml文件,启动训练前需
户去访问其他云服务。进入到ModelArts控制台的“权限管理”页面,单击“添加授权”,根据提示进行操作。 更新委托 如果之前给ModelArts创过委托授权,此处可以更新授权。 进入到ModelArts控制台的“资源管理>AI专属资源池>弹性节点Server”页面,查看是否存在授权缺失的提示。
入“DELETE”后单击“确认”,可删除此用户的授权。删除生效后,此用户将无法继续使用ModelArts的相关功能。 批量清空所有授权 在“权限管理”页面,单击授权列表上方的“清空授权”,输入“DELETE”后单击“确认”,可删除当前账号下的所有授权。删除生效后,此账号及其所有I
入“DELETE”后单击“确认”,可删除此用户的授权。删除生效后,此用户将无法继续使用ModelArts的相关功能。 批量清空所有授权 在“权限管理”页面,单击授权列表上方的“清空授权”,输入“DELETE”后单击“确认”,可删除当前账号下的所有授权。删除生效后,此账号及其所有I
修改Workflow工作流 功能介绍 更新Workflow工作流信息。 接口约束 无 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI PUT /v2/{project
未上传训练权重文件,具体参考上传代码和权重文件到工作环境。 使用自定义数据集训练未上传自定义数据集。具体参考上传自定义数据到指定目录章节并更新dataset_info.json 文件。 步骤二:修改训练yaml文件配置 LlamaFactroy配置文件为Yaml文件,启动训练前需
分页记录的起始位置偏移量,默认值0。 owner 否 String 实例归属的User Id,长度为32位小写字母、数字,在主账号/有admin权限场景下生效,值通常为当前登录用户ID。 sort_dir 否 String 排序方式,ASC升序,DESC降序,默认DESC。 sort_key 否
分页记录的起始位置偏移量,默认值0。 owner 否 String 实例归属的用户ID,长度为32位小写字母、数字,在大账号/有admin权限场景下生效,值通常为当前登录用户ID。 sort_dir 否 String 排序方式,ASC升序,DESC降序,默认DESC。 sort_key 否
出现该问题的可能原因如下 pip源中的pip包更新了,之前能跑通的代码,在包更新之后产生了不兼容的情况,例如transformers包,导致import的时候出现了错误。 用户代码问题,出现了内存越界、非法访问内存空间的情况。 未知系统问题导致,建议先尝试重建作业,重建后仍然失败,建议提工单定位。 处理方法
n系列、ChatGLM系列等基于ModelArts Lite Server的训练过程,训练使用PyTorch框架和昇腾NPU计算资源。训练后的模型可用于推理部署,搭建大模型问答助手。 主流开源大模型基于Standard+OBS适配PyTorch NPU训练指导 主流开源大模型基于
Studio左侧导航栏中,选择“鉴权管理”。 在“鉴权管理”页面,单击“创建API Key”,填写描述信息后,单击“确认”会返回“您的密钥”,请复制保存密钥,单击“关闭”后将无法再次查看密钥。 最多支持创建5个密钥,密钥只会在新建后显示一次,请妥善保存。 当密钥丢失将无法找回,请新建API Key获取新的访问密钥。
下文中介绍如何在ECS中构建一个推理镜像,请参考ECS文档购买一个Linux弹性云服务器。完成网络配置、高级配置等步骤,可根据默认选择,或进行自定义。创建完成后,单击“远程登录”,后续安装Docker等操作均在该ECS上进行。 注意:CPU架构必须选择鲲鹏计算,镜像推荐选择EulerOS。 图1 购买ECS
下文中介绍如何在ECS中构建一个推理镜像,请参考ECS文档购买一个Linux弹性云服务器。完成网络配置、高级配置等步骤,可根据默认选择,或进行自定义。创建完成后,单击“远程登录”,后续安装Docker等操作均在该ECS上进行。 注意:CPU架构必须选择鲲鹏计算,镜像推荐选择EulerOS。 图1 购买ECS
下文中介绍如何在ECS中构建一个推理镜像,请参考ECS文档购买一个Linux弹性云服务器。完成网络配置、高级配置等步骤,可根据默认选择,或进行自定义。创建完成后,单击“远程登录”,后续安装Docker等操作均在该ECS上进行。 注意:CPU架构必须选择鲲鹏计算,镜像推荐选择EulerOS。 图1 购买ECS
是,则执行2。 否,则在高级配置的“plugins”参数下添加“{"name":"cabinet"}”,单击下方的“安装”使Volcano调度器更新配置,完成滚动重启。 修改torch_npu训练启动脚本。 脚本要使用torch.distributed.launch/run命令启动,不能使用mp
用户在进行NPU精度和GPU精度比对前,需要保证两边的配置一致。 表1 超参说明 超参 说明 学习率 影响模型收敛程度,决定了模型在每次更新权重时所采用的步长。学习率过高,模型可能会过度调整权重,导致不稳定的训练过程;如果学习率过低,模型训练速度会变慢,甚至陷入局部最优。 batch