检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
_ascend:20240606 步骤六 编写Config.yaml文件 k8s有两种方式来管理对象: 命令式,即通过Kubectl指令直接操作对象。 声明式,通过定义资源YAML格式的文件来操作对象。 首先给出单个节点训练的config.yaml文件模板,用于配置pod。而在训
在线JupyterLab访问,具体参见通过JupyterLab在线使用Notebook实例进行AI开发。 本地IDE使用PyCharm工具,远程连接访问,具体参见通过PyCharm远程使用Notebook实例。 本地IDE使用VS Code工具,远程连接访问,具体参见通过VS Code远程使用Notebook实例。
用于存储训练和推理的输入数据和输出结果数据。 具体费用可参见对象存储价格详情。 注意: 存储到OBS中的数据需在OBS控制台进行手动删除。如果未删除,则会按照OBS的计费规则进行持续计费。 按需计费 包年/包月 创建桶不收取费用,按实际使用的存储容量和时长收费 消息通知(不开启则不计费)
SSHReq 参数 是否必选 参数类型 描述 key_pair_names 否 Array of strings SSH密钥对名称,可以在云服务器控制台(ECS)“密钥对”页面创建和查看。 响应参数 状态码: 201 表55 响应Body参数 参数 参数类型 描述 kind String 训练作业类型。默认使用job。枚举值:
常见错误码 错误码 错误内容 说明 400 Bad Request 请求包含语法错误。 403 Forbidden 服务器拒绝执行。 404 Not Found 服务器找不到请求的网页。 500 Internal Server Error 服务内部错误。
法降低排队时间。 如果是专属资源池,建议您进行以下排查: 排查专属资源池中是否存在其他作业(包括推理作业、训练作业、开发环境作业等)。 可通过总览页面,快速判断是否有其他模块的作业或实例在运行中,并进入到相关作业或实例上,判断是否使用了专属资源池。如判断相关作业或实例可停止,则可以停止,释放出更多的资源。
模型ID,在创建AI应用时即可在返回体中获取,也可通过查询AI应用列表接口获取当前用户拥有的AI应用,其中model_id字段即为模型ID。默认不过滤模型ID。 workspace_id 否 String 工作空间ID。获取方法请参见查询工作空间列表。未创建工作空间时默认值为“0”,存在创建并使用的工作空间,以实际取值为准。
的可用区,这些可用区通过延迟低、吞吐量高且冗余性高的网络连接在一起。利用可用区,您可以设计和操作在可用区之间无中断地自动实现故障转移的应用程序和数据库。与传统的单个或多个数据中心基础设施相比,可用区具有更高的可用性、容错性和可扩展性。 ModelArts通过对DB的数据进行备份,
Gallery工具链服务选择付费资源时,可以查看到付费资源的单价,在使用过程中,该资源可能由于平台的折扣优惠变化导致单价发生变化,而云服务是先使用后通过话单进行记录,计费会存在延时,因此,实际价格和折扣优惠可能与当前询价会不完全相同,请以真正计费的价格和优惠为准。 欠费说明 当用户账号余额
选择实例规格,规格中描述了服务器类型、型号等信息。 流量限制(QPS) 设置待部署模型的流量限制QPS。 单位:次/秒 说明: 在部署过程中出现错误码“ModelArts.4206”时,表示QPS请求数量达到限制,建议等待限流结束后再重启服务。 实例数 设置服务器个数。 推荐实例数 =
/scripts_modellink/install.sh; sh ./scripts_modellink/llama2/0_pl_sft_13b.sh 如果镜像使用ECS中构建新镜像构建的新镜像时,训练作业启动命令中输入: cd /home/ma-user/work/llm_train/AscendFactory;
本文档适用于OBS+SFS Turbo的数据存储方案,不适用于仅使用OBS的存储方案。通过OBS对象存储服务(Object Storage Service)与SFS Turbo文件系统联动,可以实现数据灵活管理、高性能读取数据等。通过OBS上传训练所需的模型文件、训练数据等,再将OBS中的数据文件导入到SFS
请注意,针对自动学习功能中的添加图片,其图片大小限制不同,要求上传的图片大小不超过5MB。 解决方案: 方法1:使用导入功能。将图片上传至OBS任意目录,通过“从OBS目录导入”方式导入到已有数据集。 方法2:使用同步数据源功能。将图片上传到数据集输入目录下(或者其子目录),单击数据集详情页中的
表57 SSHResp 参数 参数类型 描述 key_pair_names Array of strings SSH密钥对名称,可以在云服务器控制台(ECS)“密钥对”页面创建和查看。 task_urls Array of TaskUrls objects SSH连接地址信息。 表58
s/{app_id}/app-secret 表1 路径参数 参数 是否必选 参数类型 描述 app_id 是 String APP编号,可通过APP列表接口获取。 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 请求参数 表2 请求Header参数
APP编号,可通过APP列表接口获取。 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 表2 Query参数 参数 是否必选 参数类型 描述 workspace_id 否 String 工作空间ID。获取方法请参见查询工作空间列表。未创建工作空
包含了本教程中使用到的模型训练代码。代码包具体说明请参见模型软件包结构说明。 获取路径:Support-E 说明: 如果上述软件获取路径打开后未显示相应的软件信息,说明您没有下载权限,请联系您所在企业的华为方技术支持下载获取。 模型软件包结构说明 AscendCloud-6.3.90
AI模型。自动学习功能根据标注数据自动设计模型、自动调参、自动训练、自动压缩和部署模型。开发者无需专业的开发基础和编码能力,只需上传数据,通过自动学习界面引导和简单操作即可完成模型训练和部署。具体请参见自动学习简介。 Standard的Workflow是一套低代码的AI开发流水线
零代码、免配置、免调优模型开发 平台结合与100+客户适配、调优开源大模型的行业实践经验,沉淀了大量适配昇腾,和调优推理参数的最佳实践。通过为客户提供一键式训练、自动超参调优等能力,和高度自动化的参数配置机制,使得模型优化过程不再依赖于手动尝试,显著缩短了从模型开发到部署的周期
完成图片标注后,可进行模型的训练。模型训练的目的是得到满足需求的图像分类模型。请参考前提条件确保已标注的图片符合要求,否则数据集校验将会不通过。 前提条件 请确保您的数据集中的已标注的图片不低于100张。 请确保您的数据集中至少存在2种以上的图片分类,且每种分类的图片不少于5张。