正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
通过运行install.sh脚本,还会git clone下载Megatron-LM、MindSpeed、ModelLink源码(install.sh中会自动下载配套版本,如果手动下载源码还需修改版本)至llm_train/AscendSpeed文件夹中。下载的源码文件结构如下: |——AscendCloud-LLM
description="请输入一个只包含大小写字母、数字、下划线、中划线或者中文字符的名称。填写已有标注任务名称,则直接使用该标注任务;填写新标注任务名称,则自动创建新的标注任务") ), inputs=wf.steps.LabelingInput(name="labeling_input"
付欠款,那么付费资源(如计算规格、OBS桶)、等都将被冻结,资源进入保留期。保留期的资源不支持任何操作。如果用户在宽限期内充值,则华为云会自动扣取欠费金额(含宽限期内产生的费用) 保留期到期时仍未支付欠款(含宽限期内产生的费用),则付费资源将释放,数据无法恢复。 宽限期和保留期的详细规则请参见宽限期保留期。
UTC'的毫秒数。 description String 模型描述信息。 source_type String 模型来源的类型,仅当模型为自动学习部署过来时有值,取值为“auto”。 父主题: 模型管理
通过运行install.sh脚本,还会git clone下载Megatron-LM、MindSpeed、ModelLink源码(install.sh中会自动下载配套版本,若手动下载源码还需修改版本)至llm_train/AscendSpeed文件夹中。下载的源码文件结构如下: |——AscendCloud-LLM
通过运行install.sh脚本,还会git clone下载Megatron-LM、MindSpeed、ModelLink源码(install.sh中会自动下载配套版本,如果手动下载源码还需修改版本)至llm_train/AscendSpeed文件夹中。下载的源码文件结构如下: |——AscendCloud-LLM
cx,xls,xlsx,ppt,pptx,pdf,txt格式的附件,单个附件大小不超过20M,最多可传5个附件。 编辑AI说时,30秒钟后自动保存草稿,用户可单击“草稿箱”查看。 草稿箱可支持保存草稿记录共三条,存满后请手动删除;建议您及时发布重要内容,以免重要内容无法保存。 单击“发布”,跳转至技术文章详情页面。
荐使用此工具创建桶或上传对象。obsutil是一款用于访问管理OBS的命令行工具,对于熟悉命令行程序的用户,obsutil是执行批量处理、自动化任务的好的选择。 如果您的业务环境需要通过API或SDK执行数据上传操作,或者您习惯于使用API和SDK,推荐选择OBS的API或SDK方法创建桶和上传对象。
用户在使用ModelArts服务的过程中,为了简化用户的操作,ModelArts后台可以代替用户完成一些工作,如训练作业启动前自动下载用户OBS桶中的数据集到作业空间、自动转储训练作业日志到用户OBS桶中。 ModelArts服务不会保存用户的Token认证凭据,在后台异步作业中操作用户的
[worker-0] 训练输入上传中 [worker-0] [耗时: 秒] 训练输出(参数名称:)上传完成 训练运行到结束的过程中,关键事件支持手动/自动刷新。 查看操作 在ModelArts管理控制台的左侧导航栏中选择“模型训练 > 训练作业”。 在训练作业列表中,单击作业名称进入训练作业详情页面。
件说明。 Step2 创建预训练任务 创建训练作业,并自定义名称、描述等信息。选择自定义算法,启动方式自定义,以及上传的镜像。训练脚本中会自动执行训练前的权重转换操作和数据处理操作。 图1 选择镜像 训练作业启动命令中输入: cd /home/ma-user/work/llm_train/AscendSpeed;
Step2 创建SFT全参微调训练任务 创建训练作业,并自定义名称、描述等信息。选择自定义算法,启动方式自定义,以及上传的镜像。训练脚本中会自动执行训练前的权重转换操作和数据处理操作。 图1 选择镜像 训练作业启动命令中输入: cd /home/ma-user/work/llm_train/AscendSpeed;
arbonData”两种。 说明: 如果导出的CSV文件中存在以“=”“+”“-”和“@”开头的命令时,为了安全考虑,ModelArts会自动加上Tab键,并对双引号进行转义处理。 “数据切分” 仅“图像分类”、“物体检测”、“文本分类”和“声音分类”类型数据集支持进行数据切分功能。
S监控数据,不支持完整的端到端服务运维设置。 实施步骤 以出行场景的司乘安全算法为例,介绍使用ModelArts进行流程化服务部署和更新、自动化服务运维和监控的实现步骤。 图3 司乘安全算法 将用户本地开发完成的模型,使用自定义镜像在ModelArts构建成AI应用。具体操作请参
Step2 创建LoRA微调训练任务 创建训练作业,并自定义名称、描述等信息。选择自定义算法,启动方式自定义,以及上传的镜像。训练脚本中会自动执行训练前的权重转换操作和数据处理操作。 图1 选择镜像 训练作业启动命令中输入: cd /home/ma-user/work/llm_train/AscendSpeed;
orth4.huaweicloud.com)和端口号。 图1 Notebook实例详情页面 准备好密钥对文件。 密钥对在用户第一次创建时,自动下载,之后使用相同的密钥时不会再有下载界面(用户一定要保存好),或者每次都使用新的密钥对。 Step1 安装SSH工具 下载并安装SSH远
单击配额信息右侧的“修改配额”可以修改配额值。配置值的配置说明请参见表2。 表2 配额信息 配额名称 配额值说明 单位 自动学习(预测分析)训练时长 默认无限制,支持设置1~60000。 分钟 自动学习(图像分类、物体检测、声音分类)训练时长 默认无限制,支持设置1~60000。 分钟 训练作业GP
使用Ascend自定义镜像训练时的训练代码适配规范 使用NPU资源创建训练作业时,系统会在训练容器里自动生成Ascend HCCL RANK_TABLE_FILE文件。当使用预置框架创建训练作业时,在训练过程中预置框架会自动解析Ascend HCCL RANK_TABLE_FILE文件,当使用自定义镜
re”的,其他参数默认。具体操作请参考创建Notebook实例。 创建完成后Notebook的状态为“运行中”,单击“操作列”的“打开”,自动进入JupyterLab界面,打开Terminal。 在Notebook中制作自定义镜像 首先配置鉴权信息,指定profile,根据提示输
想要使同一个工作流同时运行多次,可以使用复制工作流的功能。单击列表页的操作栏“更多”,选择“复制”,出现复制Workflow弹窗,新名称会自动生成(生成规则:原工作流名称 + '_copy')。 用户也可以自行修改新工作流名称,但会有校验规则验证新名称是否符合要求。 新的Work