正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
描述 session 是 Object 会话对象,初始化方法请参考Session鉴权。 job_id 是 String 训练作业的id,可通过创建训练作业生成的训练作业对象查询,如"job_instance.job_id",或从查询训练作业列表的响应中获得。 表2 update_job_configs请求参数说明
必填项,填写资产简介,镜像发布后将显示在镜像页签上,方便用户快速了解资产。 支持1~90个字符,请勿在描述中输入涉政、迷信、违禁等相关敏感词,否则发布审核无法通过。 可见范围 “所有用户可见”:表示公开资产,所有用户都可以查看该资产。 “指定用户可见”:输入账号名、账号ID或用户昵称搜索并选择用户,使其可见该资产。
orage_id} 表1 路径参数 参数 是否必选 参数类型 描述 instance_id 是 String Notebook实例ID,可通过调用查询Notebook实例列表接口获取。 project_id 是 String 用户项目ID,获取方法请参见获取项目ID和名称。 storage_id
2023年8月 序号 功能名称 功能描述 阶段 相关文档 1 Notebook连接大数据服务特性 介绍如何将ModelArts Notebook开发环境与华为云大数据服务DLI中的Spark引擎相连接,让数据工程师能便捷地使用Notebook进行大数据开发,以及如何在DataArts
engine_version String 算法选择的引擎版本名称。若填入engine_id则无需填写。 image_url String 算法选择的自定义镜像地址。 表12 code_tree 参数 参数类型 描述 name String 算法目录树当前层级目录名。 children Object
查询服务对象列表 获取当前用户服务对象列表。 示例代码 在ModelArts notebook平台,Session鉴权无需输入鉴权参数。其它平台的Session鉴权请参见Session鉴权。 场景1:查询当前用户所有服务对象 1 2 3 4 5 6 from modelarts.session
性能可视化工具Ascend-Insight使用指导 对于高阶的调优用户,可以使用可视化profiling数据查看数据详情并分析可优化点,昇腾提供了Ascend-Insight可视化工具,相比于chrometrace等工具提供了更优的功能和性能。详见昇腾《Ascend-Insight用户指南》。 父主题: PyTorch迁移性能调优
开发工具。自动学习功能根据标注数据自动设计模型、自动调参、自动训练、自动压缩和部署模型。开发者无需专业的开发基础和编码能力,只需上传数据,通过自动学习界面引导和简单操作即可完成模型训练和部署。 当前自动学习支持快速创建图像分类、物体检测、预测分析、声音分类和文本分类模型的定制化开发。可广泛应用在工业、零售安防等领域。
假设用户于2023年4月1日10:00:00创建了一个数据集,数据是存储在OBS中的。按照存储费用结算,那么数据存储到OBS的费用计算如下: 存储费用:数据管理模块的数据通过对象存储服务(OBS)上传或导出,存储计费按照OBS的计费规则。具体费用可参见对象存储价格详情。 综上,数据管理的费用 = 存储费用 父主题:
/v1/{project_id}/app-auth/apps/{app_id} 表1 路径参数 参数 是否必选 参数类型 描述 app_id 是 String APP编号,可通过APP列表接口获取。 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 表2 Query参数 参数
如何将多个物体检测的数据集合并成一个数据集? 可以在OBS桶中创建一个父级目录,目录下面设置不同的文件夹,将多个数据集分别导出到这些文件夹里面,最后用父目录创数据集即可。 登录ModelArts管理控制台,选择“数据管理>数据集”进入数据集概览页,单击右上角“导出”,将对应的数据集到导出至OBS父级目录下的子文件夹中。
即删除。 欠费后,您可以在“费用中心”查看欠费详情。为了防止相关资源不会被停止服务或者逾期释放,您需要及时进行还款或充值。 查询欠费步骤 登录管理控制台。 单击页面右上角的“费用”进入“费用中心”页面。 在“总览”页面可以查看到当前的欠费金额。 如果存在欠费,请及时充值。更多关于欠费还款操作,请参见如何进行欠费还款。
必填项,填写资产简介,模型发布后将显示在模型页签上,方便用户快速了解资产。 支持1~90个字符,请勿在描述中输入涉政、迷信、违禁等相关敏感词,否则发布审核无法通过。 可见范围 “所有用户可见”:表示公开资产,所有用户都可以查看该资产。 “指定用户可见”:输入账号名、账号ID或用户昵称搜索并选择用户,使其可见该资产。
帮助用户更好地利用多个GPU进行训练 Accelerate是一种深度学习加速框架,主要针对分布式训练场景。Accelerate的核心思想是通过模型并行和数据并行来实现分布式训练,从而提高训练速度。Accelerate提供了一系列的优化技术,如模型切分、梯度累积等,可以帮助用户更好地利用多个节点进行训练。
3b56.parquet,数据大小:24M左右。 自定义数据 用户也可以自行准备训练数据。数据要求如下: 使用标准的.json格式的数据,通过设置--json-key来指定需要参与训练的列。 请注意huggingface中的数据集具有如下this格式。可以使用–json-key标
}/storage 表1 路径参数 参数 是否必选 参数类型 描述 instance_id 是 String Notebook实例ID,可通过调用查询Notebook实例列表接口获取。 project_id 是 String 用户项目ID,获取方法请参见获取项目ID和名称。 请求参数
可用冗余”按钮实现批量关闭。 图4 关闭高可用冗余能力 图5 非高可用冗余 重置节点:需要升级节点操作系统时,可通过重置节点完成。更新节点配置时产生故障报错,也可通过重置节点修复故障。 “节点”页签中提供节点重置的功能。单击操作列的“重置”,可实现对单个节点的重置。勾选多个节点的
载的文件会被删除,再次启动时需要重新加载。为了避免反复加载,平台允许使用资源池节点的本地存储空间来加载模型包,并在服务停止和重启时仍有效(通过哈希值保证数据一致性) 使用大模型要求用户采用自定义引擎,并开启动态加载的模式导入模型。基于此,需要执行以下操作: 如果模型超过默认配额值
数量 / 启动的工作进程数。 --log-interval:是一个用于设置日志输出间隔的参数,表示输出日志的频率。在训练大规模模型时,可以通过设置这个参数来控制日志的输出。 输出数据预处理结果路径: 训练完成后,以 llama2-13b 为例,输出数据路径为:/home/ma-u
Gallery。对于支持部署为AI应用的AI Gallery模型,可将此模型部署为AI应用,具体可参见将AI Gallery中的模型部署为AI应用。 发布后的资产,可通过微调大师训练模型和在线推理服务部署模型,具体可参见使用AI Gallery微调大师训练模型、使用AI Gallery在线推理服务部署模型。