检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
size(GBS)、seq_len(SEQ_LEN)为训练时设置的参数 loss收敛情况:日志里存在lm loss参数 ,lm loss参数随着训练迭代周期持续性减小,并逐渐趋于稳定平缓。 图2 查看日志和性能 父主题: 主流开源大模型基于Standard适配PyTorch NPU训练指导(6.3.906)
对于不同的升级方式,滚动升级选择实例的策略会不同: 如果升级方式为安全升级,则根据滚动节点数量选择无业务的节点,隔离节点并滚动升级。 如果升级方式为强制升级,则根据滚动节点数量随机选择节点,隔离节点并滚动升级。 无业务节点定义:在资源池详情“节点管理”页签下,如果GPU/Ascend的可用数等于总数,则为无业务节点。
pipeline输出的结果图片进行对比,在这里保证输入图片及文本提示词一致。如果差异较为明显可以进行模型精度调优。 确认性能是否满足要求 在推理代码开始结尾处加入时间记录,并打印出推理执行耗时。根据用户需求判断性能是否满足要求,如果不满足可以进行性能调优。 import time start_time = time
对于不同的升级方式,滚动升级选择节点的策略会不同: 如果升级方式为安全升级,则根据滚动实例数量选择无业务的节点,隔离节点并滚动升级。 如果升级方式为强制升级,则根据滚动实例数量随机选择节点,隔离节点并滚动升级。 无业务节点定义:在资源池详情“节点”页签下,如果GPU/Ascend的可用数等于总数,则为无业务节点。
中主体相对单一的场景,将下图识别为汽车的图片。 图1 图像分类 物体检测是计算机视觉中的经典问题之一,其任务是用框去标出图像中物体的位置,并给出物体的类别。通常在一张图包含多个物体的情况下,定制识别出每个物体的位置、数量、名称,适合图片中有多个主体的场景,针对下图检测出图片包含树和汽车。
可能跟OBS桶的存储类别有关,并行文件系统不支持图像处理,所以无法展示缩略图。 解决方案 以Chrome浏览器为例,“F12”打开浏览器Console,锁定该图片,获取图片链接并复制。 图1 F12获取图片链接 在新的浏览器页面输入该链接,会出现提示“您的连接不是私密连接”,在该页面单击“高级”,然后选择继续前往目标链接页面。
实现车辆自主感知环境、规划路径和控制行驶。支持自动驾驶场景PB级数据下模型高效训练,助力自动驾驶特有的感知、规控、仿真生成等全链路相关算法深度优化并快速迭代。 内容审核 深入业务场景,提供完备成熟的内容审核/CV场景快速昇腾迁移的方案,高效解决业务内容审核的算力/国产化需求,助力企业业务稳健发展。
g Face格式权重。若用户需要自动转换,则在运行脚本,例如0_pl_pretrain_13b.sh中,添加变量CONVERT_MG2HF并赋值TRUE。若用户后续不需要自动转换,则在运行脚本中必须删除CONVERT_MG2HF变量。 Megatron转HuggingFace脚本具体参数如下:
g Face格式权重。若用户需要自动转换,则在运行脚本,例如0_pl_pretrain_13b.sh中,添加变量CONVERT_MG2HF并赋值TRUE。若用户后续不需要自动转换,则在运行脚本中必须删除CONVERT_MG2HF变量。 Megatron转HuggingFace脚本具体参数如下:
g Face格式权重。若用户需要自动转换,则在运行脚本,例如0_pl_pretrain_13b.sh中,添加变量CONVERT_MG2HF并赋值TRUE。若用户后续不需要自动转换,则在运行脚本中必须删除CONVERT_MG2HF变量。 Megatron转HuggingFace脚本具体参数如下:
g Face格式权重。若用户需要自动转换,则在运行脚本,例如0_pl_pretrain_13b.sh中,添加变量CONVERT_MG2HF并赋值TRUE。若用户后续不需要自动转换,则在运行脚本中必须删除CONVERT_MG2HF变量。 Megatron转HuggingFace脚本具体参数如下:
支持图片分类、物体检测、预测分析、声音分类场景 自动执行模型开发、训练、调优和推理机器学习的端到端过程 根据最终部署环境和开发者需求的推理速度,自动调优并生成满足要求的模型 ModelArts自动学习,为资深级用户提供模板化开发能力 提供“自动学习白盒化”能力,开放模型参数、自动生成模型,实现模板化开发,提高开发效率
练作业的全部计算节点。 推理部署故障恢复 用户部署的在线推理服务运行过程中,如发生硬件故障导致推理实例故障,ModelArts会自动检测到并迁移受影响实例到其它可用节点,实例启动后恢复推理请求处理能力。故障的硬件节点会自动隔离不再调度和运行推理服务实例。 父主题: 安全
点上。 图2 更新节点池 删除节点池 当有多个节点池时,支持删除节点池,此时在操作列会显示“删除”按钮,单击“删除”后输入“DELETE”并单击“确定”即可。 每个资源池至少需要有一个节点池,当只有一个节点池时不支持删除。 查看节点池的存储配置 在节点池管理的更新页面,可以查看该
仅有一个节点时,无法进行删除/退订/释放操作。 续费/开通自动续费/修改自动续费 对于包年/包月的节点,在“节点管理”页签中提供了续费、开通自动续费和修改自动续费功能,并支持对多个节点进行批量操作。 重置节点 “节点管理”页签中提供节点重置的功能。单击操作列的“重置”,可实现对单个节点的重置。勾选多个节点的复
version_count Long 训练作业的版本数。 请求示例 如下以查询训练作业状态为7,每页展示10条记录,指定到第1页,按照“job_name”排序并递增排列,查询作业名字中包含job的所有训练作业数据为例。 GET https://endpoint/v1/{project_id}/training-jobs
“/mnt/paas/kubernetes/kubelet”目录为只读状态。 A050801 节点管理 节点运维 资源预留。 节点被标记为备机,并具有备机污点。 A050802 节点管理 节点运维 未知错误。 节点被标记为具有未知故障污点。 A200001 节点管理 驱动升级 GPU升级。
支持的数据集类型为图像分类和物体检测。 label_format 否 LabelFormat object 标签格式,此参数仅文本类数据集使用。 samples 否 Array of Sample objects 样本列表。 表3 LabelFormat 参数 是否必选 参数类型
String 图像缩略设置,同OBS缩略图设置,详见OBS缩略图设置。如:image/resize,m_lfit,h_200表示等比缩放目标缩略图并设置高度为200像素。 result_property 否 String 样本状态,不传或传-1默认返回全部样本。可选值如下: -1:全部 0:保留
、2_convert_mg_hf.sh中的具体python指令,并在Notebook环境中运行执行。用户可通过Notebook中创建.ipynb文件,并编辑以下代码可实现Notebook环境中的数据与OBS中的数据进行相互传递。 import moxing as mox # OBS存放数据路径