检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ModelArts训练作业无法解析参数,日志报错 问题现象 ModelArts训练作业无法解析参数,遇到如下报错,导致无法正常运行: error: unrecognized arguments: --data_url=xxx://xxx/xxx error: unrecognized
预测API的域名停用公告 华为云ModelArts将于2024年12月31日 00:00(北京时间)逐步停用预测API的域名huaweicloudapis.com,后续预测API切换使用新域名modelarts-infer.com。 停用范围 影响区域:华为云全部Region 停用影响
获取路径:Support-E 说明: 如果上述软件获取路径打开后未显示相应的软件信息,说明您没有下载权限,请联系您所在企业的华为方技术支持下载获取。 镜像版本 本教程中用到基础镜像地址和配套版本关系如下表所示,请提前了解。 表2 基础容器镜像地址 配套软件版本 镜像用途 镜像地址 配套 获取方式 6.3
co/THUDM/glm-4-9b-chat 操作流程 图1 操作流程图 表2 操作任务流程说明 阶段 任务 说明 准备工作 准备环境 本教程案例是基于ModelArts Lite DevServer运行的,需要购买并开通DevServer资源。 准备代码 准备AscendSpe
Query参数 参数 是否必选 参数类型 描述 limit 否 Integer 每一页的数量,默认不限制。 offset 否 Integer 分页记录的起始位置偏移量。 请求参数 无 响应参数 状态码: 200 表3 响应Body参数 参数 参数类型 描述 current Integer
区域,单击版本号。 在“任务记录”区域,可以看到“作业类型”为“权重格式转换”的任务。 图1 权重格式转换 场景二:将Checkpoint添加为调优后模型版本。 在“Checkpoint列表”页面的“操作”列,单击“添加为调优后模型版本”。 在“添加为调优后模型版本”页面,配置相关信息,然后单击“创建”。
"public", "status": "NORMAL", "status_info": "" } “id”为新建的工作空间ID,记录该值用于后续步骤。 调用查询工作空间详情接口根据工作空间ID查询工作空间的详细信息。 请求消息体: URI:GET https://{en
支持本地IDE+ModelArts 插件远程开发能力,线上线下协同开发,开发训练一体化架构,支持大模型分布式部署及推理。 统一管理AI开发全流程,提升开发效率,记录模型构建实验全流程。 多场景部署,灵活满足业务需求 支持云端/边端部署等多种生产环境。 支持在线推理、批量推理、边缘推理多形态部署。 AI工程化能力,支持AI全流程生命周期管理
co/THUDM/glm-4-9b-chat 操作流程 图1 操作流程图 表2 操作任务流程说明 阶段 任务 说明 准备工作 准备环境 本教程案例是基于ModelArts Lite DevServer运行的,需要购买并开通DevServer资源。 准备代码 准备AscendSpe
name 是 String 事件所属资源名称。 limit 否 Integer 单页查询最大数量,该值为空或者0时默认返回500条记录,单页最大允许查询500条记录。 continue 否 String 分页查询的上一页标记,内容为UUID字符串,查询第一页时为空。 since 否 Integer
elArts会提醒您当前用户未配置授权,需联系此IAM用户的管理员账号进行委托授权。 添加授权 登录ModelArts管理控制台,在左侧导航栏选择“权限管理”,进入“权限管理”页面。 单击“添加授权”,进入“访问授权”配置页面,根据参数说明进行配置。 表1 参数说明 参数 说明 “授权对象类型”
进入弹性文件服务SFS管理控制台。 选择“SFS Turbo”进入文件系统列表,单击文件系统名称,进入详情页面。 在“基本信息”页签获取并记录“Linux挂载命令”。 在ECS服务器中挂载NFS存储。 首先保证对应目录存在,然后输入对应指令即可。命令参考: mkdir -p /mnt/sfs_turbo
读写权限:readwrite(创建开发环境实例modelarts:notebook:create仅支持配置readwrite) 如果需要在一个自定义策略中添加多个不同的sfsOption,需要“Statement”中新增JSON结构体,例如: { "Version": "1.1",
co/THUDM/glm-4-9b-chat 操作流程 图1 操作流程图 表2 操作任务流程说明 阶段 任务 说明 准备工作 准备资源 本教程案例是基于ModelArts Standard运行的,需要购买并开通ModelArts专属资源池和OBS桶。 准备数据 准备训练数据,可以
DataVolumesRes objects 数据。 pages Integer 总的页数。 size Integer 每一页的数量。 total Long 总的记录数量。 表3 DataVolumesRes 参数 参数类型 描述 category String 存储类型。可选值为OBS。 id String
co/THUDM/glm-4-9b-chat 操作流程 图1 操作流程图 表2 操作任务流程说明 阶段 任务 说明 准备工作 准备资源 本教程案例是基于ModelArts Standard运行的,需要购买并开通ModelArts专属资源池和OBS桶。 准备数据 准备训练数据,可以
在ModelArts的在线服务中添加标签。 可以在创建在线服务页面添加标签,也可以在已经创建完成的在线服务详情页面的“标签”页签中添加标签。 在ModelArts的专属资源池中添加标签。 可以在创建弹性集群的时候添加标签,也可以在已经创建完成的资源池详情页面的“标签”页签中添加标签。 图1 添加标签 用
在ModelArts的Notebook中添加标签。 可以在创建Notebook页面添加标签,也可以在已经创建完成的Notebook详情页面的“标签”页签中添加标签。 在ModelArts的训练作业中添加标签。 可以在创建训练作业页面添加标签,也可以在已经创建完成的训练作业详情页面的“标签”页签中添加标签。 在
IAM用户创建后,需要管理员在组织中为用户添加授权,使IAM用户对组织内所有镜像享有读取/编辑/管理的权限。 只有具备“管理”权限的账号和IAM用户才能添加授权。 登录容器镜像服务控制台。 在左侧菜单栏选择“组织管理”,单击组织名称。 在“用户”页签下单击“添加授权”,在弹出的窗口中为IAM用户选择权限,然后单击“确定”。
为了避免丢失训练进度、浪费算力,开启此功能前请确认代码已适配断点续训,操作指导请参见设置断点续训练。 当训练过程中触发了自动重启,则系统会记录重启信息,在训练作业详情页可以查看故障恢复详情,具体请参见训练作业重调度。 开启无条件自动重启 开启无条件自动重启有2种方式:控制台设置或API接口设置。