检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
准备镜像环境 准备训练模型适用的容器镜像,包括获取镜像地址,了解镜像中包含的各类固件版本,配置物理机环境操作。 镜像地址 本教程中用到的训练和推理的基础镜像地址和配套版本关系如下表所示,请提前了解。 表1 基础容器镜像地址 镜像用途 镜像地址 基础镜像 swr.cn-southwest-2
准备镜像环境 准备训练模型适用的容器镜像,包括获取镜像地址,了解镜像中包含的各类固件版本,配置物理机环境操作。 镜像地址 本教程中用到的训练和推理的基础镜像地址和配套版本关系如下表所示,请提前了解。 表1 基础容器镜像地址 镜像用途 镜像地址 基础镜像 swr.cn-southwest-2
示区,您可以拖动打开文件,随意调整文件展示位置,可以同时打开多个文件。 图8 多文件任意编排 当在一个Notebook中写代码时,如果需要实时同步编辑文件并查看执行结果,可以新建该文件的多个视图。 打开ipynb文件,然后单击菜单栏“File > New View for Notebook”,即可打开多个视图。
果。 方案优势 高准确性:利用模型强大的语义理解能力,系统能够准确识别新闻内容的主题和关键词,实现高准确率的自动分类。 快速响应:系统能够实时处理新闻内容,快速完成分类,满足新闻时效性的要求。 可扩展性:随着模型的不断训练和优化,系统能够适应不断变化的新闻内容和分类需求。 降低人
for i in $(seq 0 7);do hccn_tool -i $i -net_health -g;done 容器化个人调测环境搭建 准备业务基础镜像。 当前推荐的开发模式是在物理机上启动自己的docker容器进行开发。容器镜像可以使用自己的实际业务镜像,也可以使用Mo
权限配置 权限列表 为了便于理解权限相关内容,建议先阅读ModelArts权限管理基本概念。 表1 服务授权列表 待授权的服务 适用场景 ModelArts 授予子用户使用ModelArts服务的权限。 ModelArts CommonOperations没有任何专属资源池的创建
资产识别与管理 资产识别 用户在AI Gallery中的资产包括用户发布的AI资产以及用户提供的一些个人信息。 AI资产包括但不限于文本、图形、数据、文章、照片、图像、插图、代码、AI算法、AI模型等。 用户的个人信息包括: 用户注册时提供的昵称、头像、邮箱。 用户参加实践时提供的姓名、手机号、邮箱。
安装Gallery CLI配置工具 场景描述 Gallery CLI配置工具支持将AI Gallery仓库的资产下载到云服务端,便于在云服务本地进行训练、部署推理。 Gallery CLI配置工具支持将单个超过5GB的文件从本地上传至AI Gallery仓库中。 约束限制 Gallery
Notebook使用场景 ModelArts提供灵活开放的开发环境,您可以根据实际情况选择。 ModelArts提供了CodeLab功能,一方面,一键进入开发环境,同时预置了免费的算力规格,可直接免费体验Notebook功能;另一方面,针对AI Gallery社区发布的Notebook样例(
管理AI Gallery数据集 编辑数据集介绍 资产发布上架后,准确、完整的资产介绍有助于提升资产的排序位置和访问量,能更好的支撑用户使用该资产。 在数据集详情页,选择“数据集介绍”页签,单击右侧“编辑介绍”。 编辑数据集基础设置和数据集描述。 表1 数据集介绍的参数说明 参数名称
AI Gallery使用流程 AI Gallery提供了模型、数据集、AI应用等AI数字资产的共享,为高校科研机构、AI应用开发商、解决方案集成商、企业级/个人开发者等群体,提供安全、开放的共享及交易环节,加速AI资产的开发与落地,保障AI开发生态链上各参与方高效地实现各自的商业价值。
代码的存储。在Notebook调测完成,可以直接指定对应的对象存储路径作为启动训练的代码路径,方便临时修改。 训练观测。可以将训练日志等输出路径进行挂载,在Notebook中实时查看和观测,特别是利用TensorBoard可视化功能完成对训练输出的分析。 PFS是一种经过优化的高性能对象存储文件系统,存储成本低,吞
托管镜像到AI Gallery 创建镜像资产 登录AI Gallery,单击右上角“我的Gallery”进入我的Gallery页面。 单击左上方“创建资产”,选择“镜像”。 在“创建镜像”弹窗中配置参数,单击“创建”。 表1 创建镜像 参数名称 说明 英文名称 必填项,镜像的英文名称。
使用DCGM监控Lite Server资源 场景描述 本文主要介绍如何在Lite Server上配置DCGM监控,用于监控Lite Server上的GPU资源。 DCGM是用于管理和监控基于Linux系统的NVIDIA GPU大规模集群的一体化工具,提供多种能力,包括主动健康监控
创建数据集 创建数据集,支持从OBS中导入数据。 create_dataset(session, dataset_name=None, data_type=None, data_sources=None, work_path=None, dataset_type=None, **kwargs)
发布和管理AI Gallery项目 在AI Gallery中,您可以将个人开发的Notebook代码免费分享给他人使用。 前提条件 在ModelArts的Notebook或者CodeLab中已创建好ipynb文件,开发指导可参见开发工具。 发布Notebook 登录ModelArts管理控制台,选择“开发环境
场景描述 ModelArts作为顶层服务,其部分功能依赖于其他服务的访问权限。本章节主要介绍对于IAM子账号使用ModelArts时,如何根据需要开通的功能配置子账号相应权限。 权限列表 子账号的权限,由主用户来控制,主用户通过IAM的权限配置功能设置用户组的权限,从而控制用户组
调优数据集异常日志说明 调优任务创建后,状态显示为“运行失败”,报错“Modelarts.6001:Unknown error, please contact the operation and maintenance personnel or check the log to locate
在Workflow中使用大数据能力(DLI/MRS) 功能介绍 该节点通过调用MRS服务,提供大数据集群计算能力。主要用于数据批量处理、模型训练等场景。 应用场景 需要使用MRS Spark组件进行大量数据的计算时,可以根据已有数据使用该节点进行训练计算。 使用案例 在华为云MR
推理精度测试 本章节介绍如何进行推理精度测试,请在Notebook的JupyterLab中另起一个Terminal,进行推理精度测试。 Step1 配置精度测试环境 获取精度测试代码。精度测试代码存放在代码包AscendCloud-LLM的llm_tools/llm_evalua