正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在ModelArts中创建训练作业如:预训练,执行代码包中例如:scripts/llama2/0_pl_pretrain_13b.sh 的脚本,开始训练。 在训练中,程序会自动执行对数据集预处理、权重转换、执行训练等操作,具体可通过训练启动脚本说明和参数配置、训练的数据集预处理说明、训练的权重转换说明了解其中的操作。
AI Gallery的生态合作模块展示了伙伴赋能培训,该模块旨在与合作伙伴一起构建合作共赢的AI生态体系。 AI Gallery使用限制 目前自动学习产生的模型暂不支持发布到AI Gallery。 订阅或购买主要是获取AI资产的使用配额和使用权,支持在配额定义的约束下,有限地使用AI资产。
进行扣费。在“费用中心 > 账单管理 > 流水和明细账单 > 流水账单”中,“消费时间”即按需产品的实际使用时间。 查看自动学习和Workflow的账单 自动学习和Workflow运行时,在进行训练作业和部署服务时,会产生不同的账单。 训练作业产生的账单可参考查看训练作业的账单查询。
Storage Service)作为存储的方案,OBS用于存储模型文件、训练数据、代码、日志等,提供了高可靠性的数据存储解决方案。 约束限制 如果要使用自动重启功能,资源规格必须选择八卡规格,只有llama3-8B/70B支持该功能。 适配的CANN版本是cann_8.0.rc3,驱动版本是23
导入到SFS Turbo,然后在训练作业中挂载SFS Turbo到容器对应ckpt目录,实现分布式读取训练数据文件。 约束限制 如果要使用自动重启功能,资源规格必须选择八卡规格。 本案例仅支持在专属资源池上运行。 支持的模型列表 本方案支持以下模型的训练,如表1所示。 表1 支持的模型列表
低。 如果以写入模式或追加模式打开文件,当调用write方法时,待写入内容只是暂时的被存在的缓冲区,直到关闭文件对象(退出with语句时会自动关闭文件对象)或者主动调用文件对象的close()方法或flush()方法时,文件内容才会被写入。 列举操作 列举一个OBS目录,只返回顶层结果(相对路径),不做递归列举。
训练脚本需要将输出的模型或其他数据保存在该目录下。 obs_path:必选参数,一个OBS目录。SDK会将local_path中的模型文件自动上传到这里。 查看训练支持的AI框架。 from modelarts.estimatorV2 import Estimator Estimator
导入到SFS Turbo,然后在训练作业中挂载SFS Turbo到容器对应ckpt目录,实现分布式读取训练数据文件。 约束限制 如果要使用自动重启功能,资源规格必须选择八卡规格。 适配的CANN版本是cann_8.0.rc3,驱动版本是23.0.6。 本案例仅支持在专属资源池上运行。
标注类型,可选“主动学习”或者“预标注”,详见表1和表2。 表1 主动学习 参数 说明 智能标注类型 “主动学习”。“主动学习”表示系统将自动使用半监督学习、难例筛选等多种手段进行智能标注,降低人工标注量,帮助用户找到难例。 算法类型 针对“图像分类”类型的数据集,您需要选择以下参数。
elArts的IAM权限控制详解。 ModelArts的权限不会凌驾于其他服务的权限之上,当您给用户进行ModelArts赋权时,系统不会自动对其他相关服务的相关权限进行赋权。这样做的好处是更加安全,不会出现预期外的“越权”,但缺点是,您必须同时给用户赋予不同服务的权限,才能确保
在ModelArts中创建训练作业如:预训练,执行代码包中例如:scripts/llama2/0_pl_pretrain_13b.sh 的脚本,开始训练。 在训练中,程序会自动执行对数据集预处理、权重转换、执行训练等操作,具体可通过训练启动脚本说明和参数配置、训练的数据集预处理说明、训练的权重转换说明了解其中的操作。
用OBS中转,系统先将文件上传至OBS(对象桶或并行文件系统),然后从OBS下载到Notebook。下载完成后,ModelArts会将文件自动从OBS中删除。 例如,对于下面这种情况,可以通过“OBS中转”上传。 图5 通过OBS中转上传大文件 如果使用OBS中转需要提供一个OBS中转路径,可以通过以下三种方式提供:
建数据处理”页面。 在创建数据处理页面,填写相关算法参数。 填写基本信息。基本信息包括“名称”、“版本”和“描述”。其中“版本”信息由系统自动生成,按“V0001”、“V0002”规则命名,用户无法修改。 您可以根据实际情况填写“名称”和“描述”信息。 图1 创建数据处理基本信息
elArts的IAM权限控制详解。 ModelArts的权限不会凌驾于其他服务的权限之上,当您给用户进行ModelArts赋权时,系统不会自动对其他相关服务的相关权限进行赋权。这样做的好处是更加安全,不会出现预期外的“越权”,但缺点是,您必须同时给用户赋予不同服务的权限,才能确保
调用接口需要进行APP鉴权,在创建APP应用时自动生成“AppKey/AppSecret”,您可以在“在线服务授权管理”对话框中单击APP应用操作列的查看完整的AppSecret。单击应用名称前方的展开下拉列表,通过单击“添加AppCode”自动生成“AppCode”,您可以单击操作列的查看完整的AppCode。
除该实例,不会将流量路由到该实例,直到探测成功。 存活探针:用于检测应用实例内应用程序的健康状态。如果存活探针失败,即应用程序不健康,将会自动重启实例。 3种探针的配置参数均为: 检查方式:可以选择“HTTP请求检查”或者“执行命令检查”。 健康检查URL:“检查方式”选择“HT
方式一:单击某个资源池名称,进入资源池详情,单击“节点池管理”页签,单击对应节点池操作列的“更新”,填写“容器引擎空间大小”后,单击“确认”(新建节点的容器引擎空间大小会自动默认为修改后的值)。 方式二:单击某个资源池操作列的“扩缩容”,修改容器引擎空间大小(仅作用在新建节点上)。 存量节点不支持修改容器引擎空
在训练作业详情页面,选择Cloud Shell页签,登录训练容器(训练作业需处于运行中)。 安装py-spy工具。 # 通过utils.sh脚本自动配置python环境 source /home/ma-user/modelarts/run/utils.sh # 安装py-spy pip
除该实例,不会将流量路由到该实例,直到探测成功。 存活探针:用于检测应用实例内应用程序的健康状态。如果存活探针失败,即应用程序不健康,将会自动重启实例。 3种探针的配置参数均为: 检查方式:可以选择“HTTP请求检查”或者“执行命令检查”。 健康检查URL:“检查方式”选择“HT
调用接口需要进行APP鉴权,在创建APP应用时自动生成“AppKey/AppSecret”,您可以在“在线服务授权管理”对话框中单击APP应用操作列的查看完整的AppSecret。单击应用名称前方的展开下拉列表,通过单击“添加AppCode”自动生成“AppCode”,您可以单击操作列的查看完整的AppCode。