检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
8k:8192-lora、full-8k:8192-full】 --master_addr <master_addr>:主master节点IP,一般选rank0为主master。 --num_nodes <nodes>:训练节点总个数 --rank <rank>:节点ID 训练完
FrameworkPTAdapter:6.0.RC3 - 软件包获取地址 软件包名称 软件包说明 获取地址 AscendCloud-6.3.909-xxx.zip 包含 三方大模型训练和推理代码包:AscendCloud-LLM AIGC代码包:AscendCloud-AIGC CV代码包:AscendCloud-CV
如果消耗了硬件资源进行部署,管理控制台将根据实际使用情况收取硬件资源的费用。 前提条件 注册并登录华为云,且创建好OBS桶用于存储算法和Workflow。 订阅免费Workflow 登录“AI Gallery”。 选择“资产集市 > MLOps > Workflow”,进入Wor
版本。 如果您当前使用的浏览器版本过低,将在一定程度上影响页面的显示效果,系统会提示您尽快对浏览器进行升级。 如果您当前使用的浏览器不支持访问管理控制台,系统会建议您对浏览器进行升级或安装支持的浏览器。 表1 PC端浏览器兼容性一览表 浏览器类型 版本 操作系统 兼容性 Internet
表1 路径参数 参数 是否必选 参数类型 描述 dataset_id 是 String 数据集ID。 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 表2 Query参数 参数 是否必选 参数类型 描述 status 否 Integer 数据集版本状态。可选值如下:
67个Notebook实例。这里的0.6就是超分比率。即启动该Notebook实例最少需要1.2U的CPU,运行Notebook时最大使用到2U的资源;内存同理,最少需要4.8G的内存,运行时最大使用到8U的内存。 超分情况下会存在实例终止的风险。如1个8U的节点上同时启动了6个2U的实例,如果
存在的历史问题,并为新特性提供高性能、高易用、可扩展、可演进的底座,给用户提供更好的AI训练体验,打造易用、高效的AI平台。 下线旧版训练管理对现有用户的使用是否有影响? 正在使用的训练作业不受影响,但是用户无法使用旧版训练创建新的作业。 旧版训练管理是否停止新购? 是的,旧版训练管理将于2023年6月30日
部分: 在创建算法时,您需要在输入路径配置中设置代码路径参数,默认为“data_url”。 您需要在训练代码中添加超参,默认为“data_url”。使用“data_url”当做训练数据输入的本地路径。 检查报错的路径是否存在 由于用户本地开发的代码需要上传至ModelArts后台
指定可用区扩容时,指定可用区的节点数。 表10 network 参数 参数类型 描述 name String 网络名称;用户接口通过指定网络名称创建网络,系统会自动创建子网,用户无法创建子网。默认将创建在第一个子网下。 表11 PoolDriver 参数 参数类型 描述 gpuVersion
带OBS存储的Notebook实例 JupyterLab文件默认存储路径,为创建Notebook时指定的OBS路径。 在文件列表的所有文件读写操作都是基于所选择的OBS路径下的内容操作的,跟当前实例空间没有关系。如果用户需要将内容同步到实例空间,需使用JupyterLab上传下载功能。
指定可用区扩容时,指定可用区的节点数。 表10 network 参数 参数类型 描述 name String 网络名称;用户接口通过指定网络名称创建网络,系统会自动创建子网,用户无法创建子网。默认将创建在第一个子网下。 表11 PoolDriver 参数 参数类型 描述 gpuVersion
路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户项目ID,获取方法请参见获取项目ID和名称。 resource_id 是 String 资源ID,如Notebook实例ID。 请求参数 表2 请求Body参数 参数 是否必选 参数类型 描述 tags
指定可用区扩容时,指定可用区的节点数。 表11 network 参数 参数类型 描述 name String 网络名称;用户接口通过指定网络名称创建网络,系统会自动创建子网,用户无法创建子网。默认将创建在第一个子网下。 表12 PoolDriver 参数 参数类型 描述 gpuVersion
FrameworkPTAdapter:6.0.RC3 - 软件包获取地址 软件包名称 软件包说明 获取地址 AscendCloud-6.3.910-xxx.zip 包含 三方大模型训练和推理代码包:AscendCloud-LLM AIGC代码包:AscendCloud-AIGC CV代码包:AscendCloud-CV
FrameworkPTAdapter:6.0.RC3 软件包获取地址 软件包名称 软件包说明 获取地址 AscendCloud-6.3.911-xxx.zip 包含 三方大模型训练和推理代码包:AscendCloud-LLM AIGC代码包:AscendCloud-AIGC CV代码包:AscendCloud-CV
某条工作流,目前只能存在一个正在运行的实例,如果用户想要使同一个工作流同时运行多次,可以使用复制工作流的功能。单击列表页的操作栏“更多”,选择“复制”,出现复制Workflow弹窗,新名称会自动生成(生成规则:原工作流名称 + '_copy')。 用户也可以自行修改新工作流名称,但会有校验规则验证新名称是否符合要求。
权限问题 训练作业访问OBS时,日志提示“stat:403 reason:Forbidden” 日志提示"Permission denied" 父主题: 训练作业
API文档以及常用的Python编码,您可以参考本章节使用MoXing Framework的一些进阶用法。 读取完毕后将文件关闭 当读取OBS文件时,实际调用的是HTTP连接读取网络流,注意要记得在读取完毕后将文件关闭。为了防止忘记文件关闭操作,推荐使用with语句,在with语句退出时会自动调用mox.file
过程。 数据清洗是在数据校验的基础上,对数据进行一致性检查,处理一些无效值。例如在深度学习领域,可以根据用户输入的正样本和负样本,对数据进行清洗,保留用户想要的类别,去除用户不想要的类别。 数据选择:数据选择一般是指从全量数据中选择数据子集的过程。 数据可以通过相似度或者深度学习
学习”和“预标注”两类。 “主动学习”表示系统将自动使用半监督学习、难例筛选等多种手段进行智能标注,降低人工标注量,帮助用户找到难例。 “预标注”表示选择用户模型管理里面的模型进行智能标注。 “自动分组”是指先使用聚类算法对未标注图片进行聚类,再根据聚类结果进行处理,可以分组打标或者清洗图片。