检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
with_column_header 否 Boolean 导出时是否将列名写到CSV文件的第一行,对于表格数据集有效。可选值如下: true:导出时将列名写到CSV文件的第一行(默认值) false:导出时不将列名写到CSV文件的第一行 表3 ExportParams 参数 是否必选 参数类型 描述
参数类型 描述 name String 工作流存储的名称。填写1-64位,只包含英文、数字、下划线(_)和中划线(-),并且以英文开头的名称。 type String 工作流存储的类型,当前只支持obs。 path String 统一存储的根路径,当前只支持OBS路径。 表17 WorkflowAsset
分布式训练功能介绍 ModelArts提供了如下能力: 丰富的官方预置镜像,满足用户的需求。 支持基于预置镜像自定义制作专属开发环境,并保存使用。 丰富的教程,帮助用户快速适配分布式训练,使用分布式训练极大减少训练时间。 分布式训练调测的能力,可在PyCharm/VSCode/J
查询数据集版本详情 功能介绍 查询数据集版本详情。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v2/{project_id}/datasets/{da
HostName:IP地址 - Port:端口号 以arm版本为例,将vscode-server压缩包解压至$HOME/.vscode-server/bin文件夹,注意替换命令中${commitID}为步骤1 获取VS Code的commitID中commitID。 cd /home/ma-user/
查看批量服务详情 当AI应用部署为批量服务成功后,您可以进入“批量服务”页面,来查看服务详情。 登录ModelArts管理控制台,在左侧菜单栏中选择“模型部署>批量服务”,进入“批量服务”管理页面。 单击目标服务名称,进入服务详情页面。 您可以查看服务的“名称”、“状态”等信息,详情说明请参见表1。
在ModelArts Studio基于Llama3-8B模型实现新闻自动分类 仅“华东二”区域支持使用ModelArts Studio大模型即服务平台(MaaS)。 MaaS是白名单功能,如果有试用需求,请先申请权限。 应用场景 在数字化时代,新闻的生成与传播速度不断刷新记录。在ModelArts
资源规格名称,比如:modelarts.vm.gpu.t4u8。 count 是 Integer 规格保障使用量。 maxCount 是 Integer 资源规格的弹性使用量,物理池该值和count相同。 azs 否 Array of PoolNodeAz objects 资源池中节点的AZ信息。 nodePool
下载JupyterLab文件到本地 在JupyterLab中开发的文件,可以下载至本地。 不大于100MB的文件,可以直接从JupyterLab中下载到本地,具体操作请参见从JupyterLab中下载不大于100MB的文件至本地。 大于100MB的文件,需要先从JupyterLa
参数类型 描述 name String 工作流存储的名称。填写1-64位,只包含英文、数字、下划线(_)和中划线(-),并且以英文开头的名称。 type String 工作流存储的类型,当前只支持obs。 path String 统一存储的根路径,当前只支持OBS路径。 表16 WorkflowAsset
LoRA微调训练 步骤1 上传训练权重文件和数据集 如果在准备代码和数据阶段已经上传权重文件和数据集到容器中,可以忽略此步骤。 如果未上传训练权重文件和数据集到容器中,具体参考上传代码和权重文件到工作环境和上传数据到指定目录章节完成。训练脚本中会自动执行训练前的权重转换操作和数据处理操作。
专属资源池状态处于运行中,且专属池中的节点需要含有GPU/Ascend资源。 驱动升级操作 登录ModelArts管理控制台,在左侧导航栏中选择“专属资源池 > 弹性集群”,默认进入“资源池”页面。 在资源池列表中,选择需要进行驱动升级的资源池“操作 > 驱动升级”。 在“驱动升级”弹窗中,会显示当前专
请求头Headers中KEY参数为X-Apig-AppCode,VALUE参数为AppCode值 请求Body按照接口定义传参,本案例中KEY参数为images,选择为File格式,VALUE参数单击上传需要识别的图片。 图6 Headers 图7 Body 图8 返回结果 常见APP认证报错分析 报错信息 "error_msg":
使用AWQ量化工具转换权重 AWQ(W4A16)量化方案能显著降低模型显存以及需要部署的卡数。降低小batch下的增量推理时延。支持AWQ量化的模型列表请参见支持的模型列表和权重文件。 本章节介绍如何在Notebook使用AWQ量化工具实现推理量化,量化方法为per-group。
Notebook样例列表 样例 镜像 对应功能 场景 说明 将Notebook的Conda环境迁移到SFS磁盘 - 环境迁移 开发环境 本案例介绍如何将Notebook的Conda环境迁移到SFS磁盘上。 使用ModelArts PyCharm插件调试训练ResNet50图像分类模型 MindSpore
创建ModelArts数据增强任务 前提条件 数据已准备完成:已经创建数据集或者已经将数据上传至OBS。 确保您使用的OBS与ModelArts在同一区域。 创建数据处理任务 登录ModelArts管理控制台,在左侧的导航栏中选择“数据准备>数据处理”,进入“数据处理”页面。 在
在使用过程中如果消耗了硬件资源进行部署,管理控制台将根据实际使用情况收取硬件资源的费用。 前提条件 注册并登录华为云,且创建好OBS桶用于存储算法和Workflow。 订阅免费Workflow 登录“AI Gallery”。 选择“资产集市 > MLOps > Workflow”
AI应用的自定义镜像制作流程 如果您使用了ModelArts不支持的AI引擎开发模型,也可通过制作自定义镜像,导入ModelArts创建为AI应用,并支持进行统一管理和部署为服务。 制作流程 场景一: 预置镜像的环境软件满足要求,只需要导入模型包,就能用于创建AI应用,通过镜像保
准备代码 本教程中用到的训练、推理代码如下表所示,请提前准备好。 获取模型软件包和权重文件 本方案支持的模型对应的软件和依赖包获取地址如表1所示,模型列表、对应的开源权重获取地址如表1所示。 表1 模型对应的软件包和依赖包获取地址 代码包名称 代码说明 下载地址 AscendCloud-6
查询用户镜像组列表 功能介绍 查询用户镜像信息概览,以镜像名称作为聚合的信息。 接口约束 暂无约束 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v1/{