检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
场景介绍 方案概览 本文档利用训练框架PyTorch_npu+华为自研Ascend Snt9B硬件,为用户提供了常见主流开源大模型在ModelArts Standard上的预训练和全量微调方案。 本方案目前仅适用于部分企业客户,完成本方案的部署,需要先联系您所在企业的华为方技术支持。
升级Standard专属资源池驱动 场景介绍 当专属资源池中的节点含有GPU/Ascend资源时,用户基于自己的业务,可能会有自定义GPU/Ascend驱动的需求,ModelArts面向此类客户提供了自助升级专属资源池GPU/Ascend驱动的能力。 驱动升级有两种升级方式:安全升级、强制升级。
“智能标注”任务执行过程中,ModelArts将自动识别难例,并完成标注。当智能标注结束后,难例标注结果将呈现在“待确认”页签,建议您对难例数据进行人工修正,然后确认标注。 登录ModelArts管理控制台,在左侧菜单栏中选择“数据准备>数据标注”,单击“我创建的”页签可查看所有作业列表。 在标注作业列表中,选择“
批量删除 标注人员管理 如果您创建的标注作业,开启了团队标注,“标注人员管理”页面中可查看团队标注作业的标注详情。添加、修改或删除标注成员。 登录“数据准备>数据标注”,在“我创建的”页签下可查看所有的标注作业列表。 在作业列表的“名称”列,根据标注作业名称找到对应的团队标注作业。(团队标注作业的名称后带有标识。)
d} (request body携带status信息) modelarts:service:action - √ √ 启动停止边缘节点服务实例 PUT /v1/{project_id}/services/{service_id}/nodes/{node_id}/status (request
导出ModelArts数据集中的数据为新数据集 针对数据集中的数据,用户可以选中部分数据或者通过条件筛选出需要的数据,导出成新的数据集。用户可以通过任务历史查看数据导出的历史记录。本章主要介绍将ModelArts数据集中的数据为新数据集的方式,新导出的数据集可直接在ModelArts控制台数据集列表中显示。
原因分析 Remote - SSH只能在开源的VSCode软件中使用。 解决方案 推荐使用开源VS Code软件。 父主题: VS Code连接开发环境失败故障处理
原因分析 Remote - SSH只能在开源的VSCode软件中使用。 解决方案 推荐使用开源VS Code软件。 父主题: VS Code连接开发环境失败常见问题
场景介绍 方案概览 本文档利用训练框架PyTorch_npu+华为自研Ascend Snt9B硬件,为用户提供了常见主流开源大模型在ModelArts Lite DevServer上的预训练和全量微调方案。 本方案目前仅适用于部分企业客户,完成本方案的部署,需要先联系您所在企业的华为方技术支持。
约束限制 相应region区域开放此功能。 配置ModelArts委托权限:允许ModelArts操作SFS Turbo 使用主用户账号登录管理控制台,单击右上角用户名,在下拉框中选择“统一身份认证”,进入统一身份认证(IAM)服务。 在统一身份认证服务页面的左侧导航选择“权限管理 >
如果您创建的Notebook使用OBS存储实例时 单击“upload”后,数据将直接上传到该Notebook实例对应的OBS路径下,即创建Notebook时指定的OBS路径。 如果您创建的Notebook使用EVS存储实例时 单击“upload”后,数据将直接上传至当前实例容器中,即在“Terminal”中的“~/work”目录下。
全部计算节点。 推理部署故障恢复 用户部署的在线推理服务运行过程中,如发生硬件故障导致推理实例故障,ModelArts会自动检测到并迁移受影响实例到其它可用节点,实例启动后恢复推理请求处理能力。故障的硬件节点会自动隔离不再调度和运行推理服务实例。 父主题: 安全
点区域,例如:都在华北-北京四站点。不支持跨站点访问OBS桶。具体请参见查看OBS桶与ModelArts是否在同一个区域。 请确认操作Notebook的账号有权限读取OBS桶中的数据。如没有权限,请参见在Notebook中,如何访问其他账号的OBS桶?。 父主题: 文件上传下载
如何打开ModelArts开发环境的Terminal功能? 登录ModelArts管理控制台,选择“开发空间>Notebook”。 创建Notebook实例,实例处于“运行中”,单击“操作”列的“打开”,进入“JupyterLab”开发页面。 选择“Files > New > T
可能为/home/ma-user/work磁盘空间不足。 解决方法 删除/home/ma-user/work路径下无用文件。 父主题: VS Code连接开发环境失败故障处理
后再进行服务部署。公共资源池扩容,请联系系统管理员。专属资源池扩容,可参考扩缩容资源池。 如果磁盘空间不够,可以尝试重试,使实例调度到其他节点。如果单实例仍磁盘空间不足,请联系系统管理员,更换合适的规格。 如果是大模型导入的AI应用部署服务,请确保专属资源池磁盘空间大于1T(1000GB)。
详细指导文档:《ModelArts SDK参考》 OBS SDK OBS服务提供的SDK,对OBS进行操作。由于ModelArts较多功能需使用OBS中存储的数据,用户可使用OBS SDK进行调用,使用OBS存储您的数据。 OBS提供了多种语言SDK供选择,开发者可根据使用习惯下载OBS SDK进行调用。使用OBS
池时选择,扩缩容时不可修改。用户通过增减“数量”来改变“目标总节点数”。 图3 资源配置(整柜方式) 用户增加节点数量时,可以通过指定节点计费模式,为资源池新创建的节点设置不同于资源池的计费模式,例如用户可以在包周期的资源池中创建按需的节点。如果用户不指定该参数,创建的节点计费模式和资源池保持一致。
进行聚类,再根据聚类结果进行处理,可以分组打标或者清洗图片。 例如,用户通过搜索引擎搜索XX,将相关图片下载并上传到数据集,然后再使用自动分组,可以将XX图片分类,比如论文、宣传海报、确认为XX的图片、其他。用户可以根据分组结果,快速剔除掉不想要的,或者将某一类直接全选后添加标签。
据集中的数据标注情况,也可以对数据集中的数据进行标签的修改,数据的增加或删减。 图1 数据标注节点状态 图片标注 在新版自动学习页面单击“实例详情”按钮,前往数据标注页面。单击任意一张图片,进入图片标注界面。 用鼠标框选图片中的物体所在区域,然后在弹出的对话框中选择标签颜色,输入