检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在Notebook中调用SDK,可直接参考接口说明,执行OBS管理、作业管理、模型管理和服务管理等操作。 ModelArts SDK支持在本地安装配置使用。使用时,需进行Session鉴权。 本地安装SDK。
另外,当启动服务时的模型或者参数发生改变时,请删除.torchair_cache文件夹,避免由于缓存文件与实际推理不匹配而报错。
资源管理:Lite Cluster提供扩缩容、驱动升级等管理手段,您可在ModelArts控制台上对资源进行管理。请参考Lite Cluster资源管理。
历史API 数据管理(旧版) 开发环境(旧版) 训练管理(旧版)
用户名密码认证模式: 支持OBS管理、数据管理、训练管理、模型管理、服务管理的鉴权。 用户AK-SK认证模式: 支持OBS管理、数据管理、训练管理、模型管理、服务管理的鉴权。
Standard功能介绍 Standard自动学习 Standard Workflow Standard数据管理 Standard开发环境 Standard模型训练 Standard模型部署 Standard资源管理 Standard支持的AI框架 父主题: 功能介绍
通过团队标注方式标注数据 团队标注使用说明 创建和管理团队 创建团队标注任务 审核并验收团队标注任务结果 管理团队和团队成员 父主题: 标注ModelArts数据集中的数据
若用户后续不需要自动转换,则在运行脚本中必须删除CONVERT_MG2HF变量。 Megatron转HuggingFace脚本具体参数如下: --model-type:模型类型。 --save-model-type:输出后权重格式。
请及时关注管理员驳回以及待修正的图片。 当团队标注任务中,分配了Reviewer角色,则需要对标注结果进行审核,审核完成后,再提交给管理员验收。 图7 成员标注平台 父主题: 通过团队标注方式标注数据
若用户后续不需要自动转换,则在运行脚本中必须删除CONVERT_MG2HF变量。 Megatron转HuggingFace脚本具体参数如下: --model-type:模型类型。 --save-model-type:输出后权重格式。
如果基础镜像中uid 1000或者gid 100已经被其他用户和用户组占用,需要将其对应的用户和用户组删除。如下Dockerfile文件已添加指定的用户和用户组,您直接使用即可。
安全 责任共担 资产识别与管理 身份认证与访问控制 数据保护技术 审计与日志 服务韧性 监控安全风险 故障恢复 更新管理 认证证书 安全边界
计费项 自动学习/Workflow计费项 数据管理计费项 开发环境计费项 模型训练计费项 模型管理计费项 推理部署计费项 专属资源池计费项
操作步骤 在ModelArts控制台左侧导航栏中找到“资源管理 > AI专属资源池 > 弹性集群Cluster”,在“Lite资源池”页签中,单击某个资源池名称,进入资源池详情。 单击左侧“配置管理”,进入资源池配置管理页面。
管理员新创建的用户在没有配置细粒度授权策略时,默认具有ModelArts所有权限。如果需要控制用户的详细权限,管理员可以通过IAM为用户组配置细粒度授权策略,使用户获得策略定义的权限,操作对应云服务的资源。基于策略授权时,管理员可以按ModelArts的资源类型选择授权范围。
检查委托授权 请前往权限管理,查看是否具有OBS访问授权。如果没有,请参考配置访问授权(全局配置)。 检查OBS桶是否为非加密桶 进入OBS管理控制台,单击桶名称进入概览页。 确保此OBS桶的加密功能关闭。如果此OBS桶为加密桶,可单击“默认加密”选项进行修改。
图1 停止所有Cell 如果整个Notebook页面也已经无法使用,单击任何地方都无反应,则关闭Notebook页面,关闭ModelArts管理控制台页面。然后,重新打开管理控制台,打开之前无法使用的Notebook,此时的Notebook仍会保留无法使用之前的所有变量空间。
资源管理 Lite Server提供启动、停止、切换操作系统等管理手段,您可在ModelArts控制台上对资源进行管理。
登录ModelArts管理控制台,在左侧菜单栏中选择“资产管理 >数据集”,进入“数据集”管理页面。 在数据集所在行,单击操作列的“导入”。 或者,您可以单击数据集名称,进入数据集“概览”页,在页面右上角单击“导入”。
如果用户后续不需要自动转换,则在环境变量中必须删除CONVERT_MG2HF变量。 Megatron转HuggingFace脚本具体参数如下: --model-type:模型类型。 --save-model-type:输出后权重格式。