检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
例如: 增量训练 分布式训练 训练加速 训练高可靠性 查看训练结果和日志 查看训练作业详情 训练作业运行中或运行结束后,可以在训练作业详情页面查看训练作业的参数设置,训练作业事件等。 查看训练作业日志 训练日志用于记录训练作业运行过程和异常信息,可以通过查看训练作业日志定位作业运行中出现的问题。
String 用户在cbc选择的折扣信息。 os.modelarts/service.console.url String 订购订单支付完成后跳转的url地址。 os.modelarts/order.id String 订单id,包周期资源池创建或者计费模式变更的时候该参数必需。 os
确认该自定义镜像的基础镜像是否来源于ModelArts提供的基础镜像,推荐用户使用ModelArts的基础镜像构建自定义镜像,具体请参见使用ModelArts的基础镜像构建新的训练镜像。 如镜像来源于第三方,设法找到自定义镜像的制作者咨询,制作者一般对镜像如何使用更加了解。 确定自定义镜像大小 自定义镜像的大小推
lm.sh\": permission denied",请参考附录:大模型推理standard常见问题问题6重新构建镜像。 Step4 调用在线服务 进入在线服务详情页面,选择“预测”。 若以vllm接口启动服务,设置请求路径:“/generate”,输入预测代码“{"prompt":
增量训练特别适用于以下情况: 数据流更新:在实际应用中,数据可能会持续更新,增量训练允许模型适应新的数据而不必重新训练。 资源限制:如果重新训练一个大型模型成本过高,增量训练可以是一个更经济的选择。 避免灾难性遗忘:在传统训练中,新数据可能会覆盖旧数据的知识,导致模型忘记之前学到的内容。增量训练通过保留旧知识的同时学习新知识来避免这个问题。
保存镜像”,进入“保存镜像”页面,设置组织、镜像名称、镜像版本和描述信息后单击“确认”保存镜像。此时Notebook会冻结,需要等待几分钟。详细操作请参考保存Notebook镜像环境。 图7 保存镜像 查看所保存的镜像 保存后的镜像可以在ModelArts控制台“镜像管理”页面查看到该镜像详情
仅专属资源池支持使用Cloud Shell登录训练容器,且训练作业必须处于“运行中”状态。 在训练管理的“创建算法”页面,来源于AI Gallery中订阅的算法不支持另存为新算法。 训练作业卡死检测目前仅支持资源类型为GPU的训练作业。 仅使用新版专属资源池训练时才支持设置训练作业优先
执行训练任务(推荐) 新的训练方式将统一管理训练日志、训练结果和训练配置,使用yaml配置文件方便用户根据自己实际需求进行修改。推荐用户使用该方式进行训练。 步骤一 上传训练权重文件和数据集 如果在准备代码和数据阶段已经上传权重文件和数据集到容器中,可以忽略此步骤。 如果未上传训
景如下: 对于数据标注这种操作,可以在标注完成后自动帮助用户发布新的数据集版本,结合as_input的能力提供给后续节点使用。 当模型训练需要更新数据时,可以使用数据集导入节点先导入新的数据,然后再通过该节点发布新的版本供后续节点使用。 属性总览 您可以使用ReleaseData
name="model_registration", # 模型注册节点的名称,命名规范(只能包含英文字母、数字、下划线(_)、中划线(-),并且只能以英文字母开头,长度限制为64字符),一个Workflow里的两个step名称不能重复 title="模型注册", # 标题信息 inputs=wf
替换节点操作不会收取费用。 单击“操作记录”可查看当前资源池替换节点的操作记录。“运行中”表示节点在替换中。替换成功后,节点列表中会显示新的节点名称。 替换最长时间为24小时,超时后仍然未找到合适的资源,状态会变为“失败”。可将鼠标悬浮在图标上,查看具体失败原因。 每天累计替换
查询镜像组列表 GET /v1/{project_id}/images/group modelarts:image:listGroup - √ √ 注册自定义镜像 POST /v1/{project_id}/images modelarts:image:register - √ √ 删除自定义镜像
约束与限制 您能创建的ModelArts资源的数量与配额有关系,具体请参见服务配额。 更详细的限制请参见具体API的说明。 基本概念 账号 用户注册时的账号,账号对其所拥有的资源及云服务具有完全的访问权限,可以重置用户密码、分配用户权限等。由于账号是付费主体,为了确保账号安全,建议您不
存储路径做统一管理,规定用户按照自己的目录规划来存放数据,而存储的根目录可以根据用户自己的需求自行配置。该方式只做目录的编排,不会自动创建新的目录。 输出目录管理:开发者在编辑开发工作流时可以对所有的输出路径做统一管理,用户无需手动创建输出目录,只需要在工作流运行前配置存储根路径
单击“下一步”,再单击“提交”,开始部署服务,待服务状态显示“正常”服务部署完成。 图4 服务部署完成 Step4 调用在线服务 进入在线服务详情页面,选择“预测”,设置请求路径:“/generate”,输入预测代码“{"prompt": "你好", "temperature":0, "
ll",则对整个模型进行微调。这意味着在微调过程中,除了输出层外,模型的所有参数都将被调整以适应新的任务。 dataset identity,alpaca_en_demo 【可选】注册在dataset_info.json文件数据集名称。如选用定义数据请参考准备数据(可选)配置dataset_info
String 用户在cbc选择的折扣信息。 os.modelarts/service.console.url String 订购订单支付完成后跳转的url地址。 os.modelarts/order.id String 订单id,包周期资源池创建或者计费模式变更的时候该参数必需。 os
iam:tokens:assume 使用委托获取用户临时认证凭据(必须) 基本功能 BSS bss:balance:view 在ModelArts控制台创建资源后,页面展示账号当前余额 表2 管理工作空间 业务场景 依赖的服务 依赖策略项 支持的功能 工作空间 IAM iam:users:listUsers
d Acyclic Graph,DAG)的开发,整个DAG的执行就是有序的任务执行模板,依次执行从数据标注、数据集版本发布、模型训练、模型注册到服务部署环节。如果想了解更多关于Workflow您可以参考Workflow简介。 图1 自动学习操作流程 图2 Workflow运行流程
或数据集中,则会导致任务失败。 建议前往OBS检查,确保数据存在。针对图像分类、声音分类、文本分类、物体检测等类型,可在自动学习的数据标注页面,单击“同步数据源”,将OBS中的数据重新同步至ModelArts中。 检查OBS的访问权限 如果OBS桶的访问权限设置无法满足训练要求时