检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
restartPolicy: OnFailure 根据config.yaml创建pod。 kubectl apply -f config.yaml 检查pod启动情况,执行下述命令。如果显示“1/1 running”状态代表启动成功。 kubectl get pod -A 进入容器,{po
当前ModelArts在华北-北京四区域,在对象存储服务创建桶时,请选择华北-北京四。请参考查看OBS桶与ModelArts是否在同一区域检查您的OBS桶区域与ModelArts区域是否一致。 请勿开启桶加密,ModelArts不支持加密的OBS桶,会导致ModelArts读取OBS中的数据失败。
当前ModelArts在华北-北京四区域,在对象存储服务创建桶时,请选择华北-北京四。请参考查看OBS桶与ModelArts是否在同一区域检查您的OBS桶区域与ModelArts区域是否一致。 请勿开启桶加密,ModelArts不支持加密的OBS桶,会导致ModelArts读取OBS中的数据失败。
统在训练作业启动前,自动将数据存储位置中的Checkpoint文件下载到训练容器的本地目录。 图1 训练输出设置 断点续训练建议和训练容错检查(即自动重启)功能同时使用。在创建训练作业页面,开启“自动重启”开关。训练环境预检测失败、或者训练容器硬件检测故障、或者训练作业失败时会自动重新下发并运行训练作业。
attention算子(性能较优)或者使用小算子。 训练脚本 由算法迁移人员排查迁移后的NPU脚本是否存在问题,可以通过Beyond Compare工具比对GPU训练脚本和NPU训练脚本之间是否存在差异。例如是否GPU环境下开启了FA但是NPU上未开启FA。 三方库版本比对 大模型训练通常
获取APP认证鉴权相关信息 方式一:使用Python语言通过AppKey+AppSecret认证鉴权方式发送预测请求 下载Python SDK并在开发工具中完成SDK配置。具体操作请参见在Python环境中集成API请求签名的SDK。 创建请求体,进行预测请求。 输入为文件格式 # coding=utf-8
请勿开启桶加密。 由于训练作业运行需消耗资源,为了避免训练失败请确保账户未欠费。 确保使用的OBS目录与ModelArts在同一区域。 检查是否配置了访问授权。如果未配置,请参见配置ModelArts Standard访问授权完成操作。 已经准备好训练算法,具体操作请参见创建算法。
执行如下命令,根据“config.yaml”创建并启动pod。容器启动后会自动执行训练作业。 kubectl apply -f config.yaml 执行如下命令,检查pod启动情况。如果显示“1/1 running”状态代表启动成功。 kubectl get pod 图3 启动成功的回显 执行如下命令,
例如TensorFlow、PyTorch等,但是实际开发中,通常还需要安装其他依赖包,此时可以通过Terminal连接到环境里操作。 单击工具栏“Tools >Start SSH session”,选择SSH Configuration中配置的开发环境。可以执行pip install安装所需要的包。
y”。 图2 获取在线服务API接口地址和文件预测输入参数信息 方式一:使用Python语言发送预测请求 下载Python SDK并在开发工具中完成SDK配置。具体操作请参见在Python环境中集成API请求签名的SDK。 创建请求体,进行预测请求。 输入为文件格式 # coding=utf-8
c-95c45e5d3e83 “-d”是Body体的文本内容。 方式三:使用Python语言发送预测请求 下载Python SDK并在开发工具中完成SDK配置。具体操作请参见在Python环境中集成API请求签名的SDK。 创建请求体,进行预测请求。 输入为文件格式 # coding=utf-8
used_percent 该指标用于统计k8s空间的使用率。 百分比(Percent) ≥0 连续2个周期原始值 > 90% 紧急 请及时检查,防止磁盘写满影响业务。推荐清理计算节点无效数据。 容器空间的总量 ma_node_container_space_capacity_megabytes
3-cudnn8-ubuntu18.04:v1 . 容器镜像的大小建议小于15G,不能大于25G。否则镜像的迁移、拉起都会存在性能问题。 建议通过开源的官方镜像来构建,例如PyTorch的官方镜像。 建议容器分层构建,单层容量不要超过1G、文件数不大于10w个。分层时,先构建不常变化的层
在“Checkpoint列表”页面的“操作”列,单击“创建为我的模型”。 在“创建为我的模型”页面,配置相关信息,然后单击“创建”。 系统将会检查自定义权重中存在的问题,校验过程中将会收取少量费用。 在费用提醒对话框,仔细阅读预估费用信息,单击“确定”,跳转至“我的模型”页面创建模型。
并进行标注任务。 用于智能标注的数据集必须存在至少2种标签,且每种标签已标注的图片不少于5张。 用于智能标注的数据集必须存在未标注图片。 检查用于标注的图片数据,确保您的图片数据中,不存在RGBA四通道图片。如果存在四通道图片,智能标注任务将运行失败,因此,请从数据集中删除四通道图片后,再启动智能标注。
启节点操作。 当资源池处于驱动升级状态时,该资源池无法进行重启节点操作。 节点重启成功后,可能出现短暂不可用现象,是正在拉起业务服务及健康检查,请耐心等待。 删除/退订节点: 如果是“按需计费”的资源池,您可单击操作列的“删除”,即可实现对单个节点的资源释放。 如果想批量删除节点
如何在ModelArts的Notebook中构建一个新镜像并用于模型部署。 登录ModelArts控制台,在左侧导航栏中选择“全局配置”,检查是否配置了访问授权。如果未配置,请先配置访问授权。参考使用委托授权完成操作。 登录ModelArts控制台,在左侧导航栏中选择“开发环境 >
务需要选择任务所需的资源卡数。 如果选择付费资源,则请确认账号未欠费,且余额高于所选计算规格的收费标准,否则可能会导致AI Gallery工具链服务异常中断。AI Gallery的计算规格的计费说明请参见计算规格说明。 作业参数配置完成后,单击“启动作业”。 在“订单信息确认”页
image get-image查询ModelArts已注册镜像 Dockerfile一般需要提供一个基础镜像的地址,目前支持从docker hub等开源镜像仓拉取公开镜像,以及SWR的公开或私有镜像。其中ma-cli提供了查询ModelArts预置镜像和用户已注册镜像列表及SWR地址。 $ma-cli
olicy 用于更新Notebook实例的自动停止时间。 OBS并行文件系统场景下使用MindInsight/TensorBoard可视化工具。 ModelArts modelarts:notebook:umountStorage modelarts:notebook:getMountedStorage