检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
支持在线推理、批量推理、边缘推理多形态部署。 AI工程化能力,支持AI全流程生命周期管理 支持MLOps能力,提供数据诊断、模型监测等分析能力,训练智能日志分析与诊断。 容错能力强,故障恢复快 提供机柜、节点、加速卡、任务多场景故障感知和检测。
搜索功能仅支持搜索当前页面加载的日志,如果日志加载不全(请关注页面提示)则需要下载或者通过打开全量日志访问链接进行搜索。全量日志访问链接打开的新页面可以通过Ctrl+F进行搜索。 系统日志过滤 图8 系统日志复选框 如果勾选了系统日志复选框,则日志中呈现系统日志和用户日志。
进入算法创建页面。 登录ModelArts管理控制台,单击左侧菜单栏的“资产管理 > 算法管理”。 在“我的算法”管理页面,单击“创建”,进入“创建算法”页面。填写算法的基本信息,包含“名称”和“描述”。 设置算法启动方式,有以下三种方式可以选择。
处理方法 服务部署失败后,进入服务详情界面,查看服务部署日志,明确服务部署失败原因(用户代码输出需要使用标准输入输出函数,否则输出的内容不会呈现到前端页面日志)。根据日志中提示的报错信息找到对应的代码进行定位。
构建零门槛线上模型体验,零基础开发者开箱即用,初学者三行代码使用所有模型 通过AI Gallery的模型在线模型体验,可以实现模型服务的即时可用性,开发者无需经历繁琐的环境配置步骤,即可直观感受模型效果,快速尝鲜大模型,真正达到“即时接入,即时体验”的效果。
图1 打开“Settings” 在打开的“MobaXterm Configuration”配置页面,选择“SSH”选项卡,勾选“SSH keepalive”,如图2 勾选“SSH keepalive”所示。
从DWS导入数据,需要借助DLI的功能,如果用户没有访问DLI服务的权限,需根据页面提示创建DLI的委托。 父主题: 导入数据到ModelArts数据集
单击文件名称即可在线预览文件内容。 仅支持预览大小不超过10MB、格式为文本类或图片类的文件。 下载文件 在镜像详情页,选择“镜像文件”页签。单击操作列的“下载”,选择保存路径单击“确认”,即可下载文件到本地。 删除文件 在镜像详情页,选择“镜像文件”页签。
环境准备 迁移环境准备有以下两种方式: 表1 迁移环境准备方式 方式 说明 ModelArts Notebook 该环境为在线调试环境,主要面向演示、体验和快速原型调试场景。 环境开通指导请参考Notebook环境创建。
AttributeError: type object 'LlamaAttention' has no attribute '_init_rope' 解决方法:降低transformers版本到4.42:pip install transformers==4.42 --upgrade 问题6:部署在线服务报错
处理方法 在权限管理页面进行依赖服务的授权。完成委托授权请参考了解ModelArts权限配置。 检查是否有OBS权限或者接口操作权限。 订阅已过期,可以在AI Gallery确认可以续订后,重新订阅。 父主题: 模型管理
在“Checkpoint列表”页面的“操作”列,单击“添加为调优后模型版本”。 在“添加为调优后模型版本”页面,配置相关信息,然后单击“创建”。 系统将会检查自定义权重中存在的问题,校验过程中将会收取少量费用。
发布成功后,会生成资产链接,用户可以单击链接跳转到资产的详情页面。 删除发布的数据集 当您需要删除发布在AI Gallery中的数据集时,可以执行如下步骤进行删除。 在AI Gallery页面的右上角单击“个人中心 > 我的数据”。
在顶部导航栏单击“资源 > 我的配额”,进入服务配额页面。 图6 我的配额 在服务配额页面,单击右上角的“申请扩大配额”,填写申请材料后提交工单。 申请扩大配额主要是申请弹性云服务器ECS实例数、核心数(CPU核数)、RAM容量(内存大小)和云硬盘EVS磁盘容量这4个资源配额。
在ModelArts Studio首页单击“购买套餐包”,进入购买页面。 在“购买”页面,选择套餐包“规格”和“购买数量”,单击“立即购买”,确认订单详情,单击“去支付”,根据界面提示完成套餐包支付。
推理部署故障恢复 用户部署的在线推理服务运行过程中,如发生硬件故障导致推理实例故障,ModelArts会自动检测到并迁移受影响实例到其它可用节点,实例启动后恢复推理请求处理能力。故障的硬件节点会自动隔离不再调度和运行推理服务实例。 父主题: 安全
在推理生产环境中部署推理服务 介绍如何在创建AI应用,部署并启动推理服务,在线预测在线服务。 父主题: 主流开源大模型基于Standard适配PyTorch NPU推理指导(6.3.905)
图6 新建告警行动规则 在之前打开的“创建告警规则”页面的告警通知区域,“行动规则”选择新创建的告警行动规则,单击“立即创建”。 至此,整个告警流程配置完成,一旦满足告警条件,那么就会收到邮件通知。 父主题: 管理Notebook实例
登录ModelArts管理控制台,在左侧菜单栏中选择“模型训练 > 训练作业”,进入训练作业管理页面。
选择“模型”,进入模型列表页面,该页面展示了所有共享的模型,包括ModelArts算法。 单击目标算法进入详情页面。