检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
sample_name String 根据样本名称搜索(含后缀名)。 sample_time String 样本加入到数据集时,会根据样本在OBS上的最后修改时间(精确到天)建立索引,此处可以根据此时间进行搜索。可选值如下: month:搜索往前30天至今天内添加的样本 day:搜索昨天(往前1天)至今天内添加的样本
ng的常用操作请参见MoXing常用操作的样例代码。 图3 运行示例 复制数据到OBS 在Notebook的在JupyterLab的服务界面,将文件yolov8_train_ascend.zip,复制到已有的OBS桶中,示例代码如下。 import os import zipfile
未创建以上权限策略前,所有子账号默认可以挂载SFS Turbo。当您创建了以上SFS权限管控策略后,没有被授予以上权限的子账号,默认在ModelArts Console上创建训练作业时无法挂载SFS Turbo(具有Tenant Administrator权限的子账号除外)。 当前仅支持配置允许策略的权限(即
可纠正ECC错误(单比特ECC错误),不影响业务。观测方式:nvidia-smi -a中查询到Volatile Correctable记录。 L2: 不可纠正ECC错误(多比特ECC错误),当次业务受损,重启进程可恢复。观测方式:nvidia-smi -a中查询到Volatile Uncorrectable记录。 L3:
'original_max_position_embeddings': 8192, 'rope_type': 'llama3'} 解决方法:升级transformers版本到4.43.1:pip install transformers --upgrade 问题5:使用SmoothQuant进行W8A8进行模型量
输入镜像的Python启动命令,例如: bash ${MA_JOB_DIR}/code/torchrun.sh 代码示例 文件目录结构如下所示,将以下文件上传至OBS桶中: code # 代码根目录 └─torch_ddp.py
'original_max_position_embeddings': 8192, 'rope_type': 'llama3'} 解决方法: 升级transformers版本到4.43.1 pip install transformers --upgrade 问题4:使用SmoothQuant进行W8A8进行模型量化时报错
'original_max_position_embeddings': 8192, 'rope_type': 'llama3'} 解决方法: 升级transformers版本到4.43.1 pip install transformers --upgrade 问题4:使用SmoothQuant进行W8A8进行模型量化时报错
'original_max_position_embeddings': 8192, 'rope_type': 'llama3'} 解决方法: 升级transformers版本到4.43.1 pip install transformers --upgrade 问题4:使用SmoothQuant进行W8A8进行模型量化时报错
1 2 3 4 5 6 7 from modelarts.session import Session # 认证用的password硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全; # 本示例以password保存在环境变
如果确认不再使用ModelArts服务,需在ModelArts管理控制台总览页确认会收费的实例已全部停止或删除,同时需清理运行Notebook实例时存储到云硬盘中的数据和其他存储到对象存储服务中的数据,以免继续扣费。 您可以在“费用中心 > 总览”页面设置“可用额度预警”功能,当可用额度、通用代金券和现金
ModelArts支持使用ECS创建专属资源池吗? 不支持。创建资源池时,只能选择界面提供的“未售罄”节点规格进行创建。专属资源池的节点规格后台是对应的ECS资源,但是无法使用账号下购买的ECS,作为ModelArts专属资源池。 父主题: Standard资源池
算法、模型、镜像。 商用资产由华为云云商店提供卖家发布和买家购买相关功能,AI Gallery仅提供列表展示。购买商业售卖的AI资产,本质上是购买算法、模型等AI资产的使用配额,在配额定义的约束下,有限地使用算法、模型等。 卖家发布AI类资产操作请参考发布AI资产类商品操作指导。买家购买相关功能请参考商品购买。
导入DashBoards模板。 复制准备工作提供的模板的下载地址到浏览器中打开,复制JSON文件的内容。粘贴到DashBoards模板里,如图2所示,最后单击“Load”。 图1 复制JSON文件的内容 图2 粘贴JSON文件的内容到DashBoards模板 修改视图名称,单击Import。
"/home/ma-user/work/data" # OBS数据上传至Notebook mox.file.copy_parallel(obs_data_dir, local_data_dir) # Notebook数据上传至OBS mox.file.copy_parallel(local_data_dir
ModelArts提供了一键式自动授权功能,用户可以在ModelArts的权限管理功能中,快速完成委托授权,由ModelArts为用户自动创建委托并配置到ModelArts服务中。 本章节主要介绍一键式自动授权方式。一键式自动授权方式支持给IAM子用户、联邦用户(虚拟IAM用户)、委托用户和所有用户授权。
P地址、资源标签等关键字搜索节点。 支持导出Standard资源池的节点信息到Excel表格中,方便查阅。勾选节点名称,在节点列表上方单击“导出 > 导出全部数据到XLSX”或者“导出 > 导出部分数据到XLSX”,在浏览器的下载记录中查看导出的Excel表格。 在节点列表页面中
"/home/ma-user/work/data" # OBS数据上传至Notebook mox.file.copy_parallel(obs_data_dir, local_data_dir) # Notebook数据上传至OBS mox.file.copy_parallel(local_data_dir
验证登录账号。 填写Token描述并选择权限,选择私有仓库访问权限,单击“Generate token”生成Token。 复制生成的Token到编译构建服务即可。 Token生成后,请及时保存,下次刷新页面将无法读取,需要重新生成新Token。 注意填写有效的Token描述信息,避免误删除导致构建失败。
ModelArts提供了一键式自动授权功能,用户可以在ModelArts的权限管理功能中,快速完成委托授权,由ModelArts为用户自动创建委托并配置到ModelArts服务中。 一键式自动授权方式为保证使用业务过程中有足够的权限,基于依赖服务的预置系统策略指定授权范围,创建的委托的权限比较