检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
本案例仅支持在专属资源池上运行,确保专属资源池可以访问公网。 文档更新内容 6.3.909版本相对于6.3.908版本新增如下内容: 文档中新增对Llama3.1的适配。 ModelLink框架和MindSpeed已升级到最新版本。 支持的模型列表 本方案支持以下模型的训练,如表1所示。 表1 支持的模型列表 序号
针对ModelArts中创建的模型,支持以下发布方式: 发布至AI Gallery AI Gallery是在ModelArts的基础上构建的开发者生态社区,提供算法、模型、数据集等内容的共享,为高校科研机构、模型开发商、解决方案集成商、企业级个人开发者等群体,提供安全、开放的共享,加速AI资产的开发与落地。
project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 training_job_id 是 String 训练作业ID。获取方法请参见查询训练作业列表。 task_id 是 String 训练作业的任务名称。可从训练作业详情中的status.tasks字段中获取。
在Workflow列表页,您可以通过搜索框,根据工作流的属性类型快速搜索过滤到相应的工作流,可节省您的时间。 登录ModelArts管理控制台,在左侧导航栏选择“开发空间>Workflow”,进入Workflow总览页面。 在工作流列表上方的搜索框中,根据您需要的属性类型,例如名称、状态、当前节点、
由于最终JSON体中需要填写的是图片文件的真实路径,也就是OBS对应的路径,所以在复制到本地做完分析和评估操作后,需要将原来的本地数据集路径映射到OBS路径,然后将新的list送入analysis接口。 如果使用的是OBS路径作为输入的data_url,则只需要替换本地路径的字符串即可。 1
就绪探针:用于检测应用实例是否已经准备好接收流量。如果就绪探针失败,即实例未准备好,会从服务负载均衡的池中剔除该实例,不会将流量路由到该实例,直到探测成功。 存活探针:用于检测应用实例内应用程序的健康状态。如果存活探针失败,即应用程序不健康,将会自动重启实例。 每种探针下会显示以
选择资源名称时,还需选择或手动输入某个具体的资源名称。 操作用户:在下拉框中选择某一具体的操作用户,此操作用户指用户级别,而非租户级别。 事件级别:可选项为“所有事件级别”、“normal”、“warning”、“incident”,只可选择其中一项。 时间范围:可选择查询最近七天内任意时间段的操作事件。 在
参数 是否必选 参数类型 说明 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 job_id 是 Long 训练作业的ID。 version_id 是 Long 训练作业的版本ID。 请求消息 无请求参数。 响应消息 响应参数如表2所示。 表2
删除maos-node-agent的pod(重启pod)。 CCE页面上删除节点上的污点A200008。 ModelArts上重置节点。 CCE页面上配置中心修改默认调度器为volcano。 该方案的缺点:后续对ModelArts的节点做相关操作如重置、升级驱动等可能会出现节点异常无法启动的情况。 父主题:
将本地代码提交到ModelArts的训练环境,ModelArts提供了一个PyCharm插件工具PyCharm ToolKit,协助用户完成SSH远程连接Notebook、代码上传、提交训练作业、将训练日志获取到本地展示等,用户只需要专注于本地的代码开发即可。 本章节介绍如何使用PyCharm
重置AppCode 功能介绍 重置指定API网关应用的指定的AppCode,只有APP的创建用户才可以重置AppCode,且只有共享/专享版APIG的APP才支持AppCode。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自
--datasets:评测的数据集及评测方法,其中 mmlu 是数据集,ppl 是评测方法。 --hf-type:HuggingFace模型权重类型(base,chat),默认为chat,依据实际的模型选择。 --hf-path:本地 HuggingFace 权重的路径,比如/home
${USER_CONVERTED_CKPT_PATH}训练过程的权重保存路径,加载路径一致。 故障快恢依赖训练过程的权重保存路径。所以如果开启 MA_TRAIN_AUTO_RESUME=1, 则用户指定的权重加载路径${USER_CONVERTED_CKPT_PATH}不能是训练过程的权重保存路径。 步骤三 启动训练脚本
total_count Integer 不分页的情况下符合查询条件的总模型数量。 count Integer 符合查询条件的模型数量。 表5 ModelListItem 参数 参数类型 描述 owner String 模型所属租户的用户id。 model_version String 模型版本。 model_type
路径参数 参数 是否必选 参数类型 描述 dataset_id 是 String 数据集ID。 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 请求参数 无 响应参数 无 请求示例 删除数据集 DELETE https://{endpoint}/
是 String 用户项目ID。获取方法请参见获取项目ID和名称。 表2 Query参数 参数 是否必选 参数类型 描述 workspace_id 否 String 工作空间ID。获取方法请参见查询工作空间列表。未创建工作空间时默认值为“0”,存在创建并使用的工作空间,以实际取值为准。
Integer 模型部署的实例数,当前限制最大实例数为128,如需使用更多的实例数,需提交工单申请。 envs 否 Map<String, String> 运行模型需要的环境变量键值对,可选填,默认为空。 src_path 是 String 批量任务输入数据的OBS路径。 dest_path
Notebook使用场景 创建Notebook实例 通过JupyterLab在线使用Notebook实例进行AI开发 通过PyCharm远程使用Notebook实例 通过VS Code远程使用Notebook实例 通过SSH工具远程使用Notebook 管理Notebook实例 使用CodeLab免费体验Notebook
模型微调是深度学习中的一种重要技术,它是指在预训练好的模型基础上,通过调整部分参数,使其在特定任务上达到更好的性能。 在实际应用中,预训练模型是在大规模通用数据集上训练得到的,而在特定任务上,这些模型的参数可能并不都是最合适的,因此需要进行微调。 AI Gallery的模型微调,简单易
流水账单”中,“消费时间”即按需产品的实际使用时间。 查看自动学习和Workflow的账单 自动学习和Workflow运行时,在进行训练作业和部署服务时,会产生不同的账单。 训练作业产生的账单可参考查看训练作业的账单查询。 部署服务产生的账单可参考查看在线服务的账单查询。 查看Notebook的账单 登录