检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建定时作业定时执行脚本 监控服务支持配置定时作业,通过指定作业执行的时间、周期,分批次执行作业脚本。 前提条件 已获取服务运维岗位权限或运维管理员权限,权限申请操作请参见申请权限。 已设置执行机。 创建定时作业 进入AppStage运维中心。 在顶部导航栏选择服务。 单击,选择“运维
基于数仓配置图表 配置warehouse类型数据源后,可以基于数仓中创建的指标或视图配置图表,本章节介绍如何配置数仓图表。 前提条件 已创建指标或创建视图。 已新增业务报表页面。 已获取服务运维岗位权限或运维管理员权限,权限申请操作请参见申请权限。 配置数仓图表 进入报表开发页面。
为隔离域关联安全组 安全组是一个逻辑上的分组,为具有相同安全保护需求并相互信任的资源实例提供访问策略。通过为已创建的隔离域关联安全组,为隔离域提供访问策略,本章节介绍如何为隔离域关联安全组。 前提条件 已获取服务运维岗位权限、基础运维岗位权限或运维管理员权限,权限申请操作请参见申请权限。
查看隔离域关联的IP信息 对于容器类型的隔离域,会自动关联容器的IP,您可以查看隔离域关联的IP信息。 查看隔离域关联的IP信息 进入AppStage运维中心。 在顶部导航栏选择服务。 单击,选择“运维 > 弹性网络服务(ENS)”。 选择左侧导航栏的“隔离域”,默认显示“隔离域配置”页签。
CES指标接入监控服务 云监控服务CES可以收集云服务内置监控指标的数据,可以通过监控这些指标来跟踪对应云服务状态。AppStage运维中心支持将CES收集的监控指标数据采集到运维中心监控服务中进行管理,可以参考支持监控的服务列表查看CES当前已支持的监控指标。 选择服务后首次使
为用户任务设置常规信息 一个流程由触发器和若干个动作节点组成。其中,动作节点是将一系列业务活动抽象为不同类型的流程工具,通过多种类型的流程工具来完成流程中需要进行的数据操作、通知、审批等任务。 设置提交任务 提交任务是流程编辑页面中流程发起的节点,也是一个流程的开始。一个流程中只能存在一个提交任务。
添加版本代码安全检视检查项 组织管理员可以为代码安全检视版本活动添加检查项,添加后创建的版本代码安全检视会继承该检查项配置。 前提条件 已获取组织管理员角色权限,权限申请方法请参见申请权限。 添加检查项 在开发中心首页右上角选择“工具链 > 版本活动管理”。 在“版本活动管理”页面,单击“代码安全检视”卡片。
已有镜像迁移至ModelArts用于训练模型 场景描述 本地已有镜像,需要做云上适配,用于ModelArts模型训练。 操作步骤 参考如下Dockerfile,修改已有镜像,使其符合模型训练的自定义镜像规范。 FROM {已有镜像} USER root # 如果已存在 gid
部署物体检测服务 模型部署 模型部署操作即将模型部署为在线服务,并且提供在线的测试UI与监控能力。完成模型训练后,可选择准确率理想且训练状态为“运行成功”的版本部署上线。具体操作步骤如下。 在“运行节点”页面中,待服务部署节点的状态变为“等待输入”时,双击“服务部署”进入配置详情页,完成资源的参数配置操作。
准备声音分类数据 使用ModelArts自动学习构建模型时,您需要将数据上传至对象存储服务(OBS)中。OBS桶需要与ModelArts在同一区域。 声音分类的数据要求 音频只支持16bit的WAV格式。支持WAV的所有子格式。 单条音频时长应大于1s,大小不能超过4MB。 适当
准备文本分类数据 使用ModelArts自动学习构建模型时,您需要将数据上传至对象存储服务(OBS)中。OBS桶需要与ModelArts在同一区域。 数据集要求 文件格式要求为txt或者csv,文件大小不能超过8MB。 以换行符作为分隔符,每行数据代表一个标注对象。 文本分类目前只支持中文。
部署文本分类服务 模型部署 模型部署操作即将模型部署为在线服务,并且提供在线的测试UI与监控能力。完成模型训练后,可选择准确率理想且训练状态为“运行成功”的版本部署上线。具体操作步骤如下。 在“运行总览”页面中,待服务部署节点的状态变为“等待输入”,双击“服务部署”节点,进入配置详情页,完成资源的参数配置操作。
创建Workflow数据集节点 功能介绍 通过对ModelArts数据集能力进行封装,实现新版数据集的创建功能。主要用于通过创建数据集对已有数据(已标注/未标注)进行统一管理的场景,后续常见数据集导入节点或者数据集标注节点。 属性总览 您可以使用CreateDatasetStep
准备镜像环境 准备训练模型适用的容器镜像,包括获取镜像地址,了解镜像中包含的各类固件版本,配置物理机环境操作。 镜像地址 本教程中用到的训练和推理的基础镜像地址和配套版本关系如下表所示,请提前了解。 表1 基础容器镜像地址 镜像用途 镜像地址 基础镜像 swr.cn-southwest-2
准备数据(可选) 此小节为自定义数据集执行过程,如非自定义数据集此小节忽略。 本教程使用到的是LLamaFactory代码包自带数据集。您也可以自行准备数据集,目前支持alpaca格式和sharegpt格式的微调数据集;使用自定义数据集时,请更新代码目录下data/dataset_info
执行预训练任务 步骤一 上传训练权重文件和数据集 如果在准备代码和数据阶段已经上传权重文件和数据集到容器中,可以忽略此步骤。 如果未上传训练权重文件和数据集到容器中,具体参考上传代码和权重文件到工作环境和上传数据到指定目录章节完成。训练脚本中会自动执行训练前的权重转换操作和数据处理操作。
常见错误原因和解决方法 显存溢出错误 网卡名称错误 父主题: 主流开源大模型基于Standard+OBS+SFS适配PyTorch NPU训练指导(6.3.911)
准备镜像环境 准备训练模型适用的容器镜像,包括获取镜像地址,了解镜像中包含的各类固件版本,配置物理机环境操作。 镜像地址 本教程中用到的训练和推理的基础镜像地址和配套版本关系如下表所示,请提前了解。 表1 基础容器镜像地址 镜像用途 镜像地址 基础镜像 swr.cn-southwest-2
训练精度测试 流程图 训练精度测试流程图如下图所示: 图1 训练精度测试流程图 执行训练任务 进入test-benchmark目录执行训练命令,可以多次执行,按自己实际情况。 benchmark-cli train <cfgs_yaml_file> <model_name> <run_type>
常见错误原因和解决方法 显存溢出错误 网卡名称错误 工作负载Pod异常 父主题: 主流开源大模型基于Lite Cluster适配PyTorch NPU训练指导(6.3.911)