正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
授权。 约束与限制 华为云账号 只有华为云账号可以使用委托授权,可以为当前账号授权,也可以为当前账号下的所有IAM用户授权。 多个IAM用户或账号,可使用同一个委托。 一个账号下,最多可创建50个委托。 对于首次使用ModelArts的新用户,请直接新增委托即可。一般用户新增普通
下线旧版自动学习对现有用户的使用是否有影响? 用户将无法再使用旧版自动学习的功能,且因旧版自动学习文件均存储于ModelArts统一管理账号下,用户无法找回旧版自动学习的作业记录。 旧版自动学习如何升级到新版自动学习? 请参考新版自动学习指导文档来体验新版自动学习。 父主题: 下线公告
如果有长期的资源使用诉求,可以购买独占使用的专属资源池。 专属资源池: 如有多个可用的专属资源池,可尝试选择其他较为空闲的资源池。 可清理当前资源池下的其他资源,如停止长时间不使用的Notebook。 在非高峰期时提交训练作业。 如长期长时间排队可以联系该专属资源池的账号管理员,管理员可根据使用情况对资源池进行扩容。
中创建文件夹用于存放数据。 本文档也以将运行代码存放OBS为例,请参考创建OBS桶,例如桶名:standard-qwen-14b。并在该桶下创建文件夹目录用于后续存储代码使用,例如:code。 创建的OBS桶和开通的Standard资源必须在同一个Region。 父主题: 准备工作
Files按钮上传文件时,显示“获取数据失败”。 图1 OBS文件上传界面 查看Notebook日志(通常在/home/ma-user/log/下,notebook-<date>.log),报错“List objects failed, obs_client resp: {'status'
企业场景:管理者可创建用于生产任务的工作空间并限制仅让运维人员使用,用于日常调试的工作空间并限制仅让开发人员使用。通过这种方式让不同的企业角色只能在指定工作空间下使用资源。 前提条件 已开通工作空间白名单,并配置了ModelArts基本使用权限,具体请参见配置ModelArts基本使用权限。 创建工作空间
SSE服务调用如下(以图形界面的软件Postman进行预测,token认证为例): 图1 SSE服务调用 图2 响应头Content-Type 正常情况下,可以观察到响应头Content-Type为text/event-stream;charset=UTF-8。 父主题: 访问在线服务支持的传输协议
参微调启动命令如下。进入代码目录/home/ma-user/ws/6.3.904-Ascend/llm_train/AscendSpeed下执行启动脚本,超参详解参考表1 增量预训练超参配置 MODEL_TYPE=13B RUN_TYPE=sft DATA_PATH=/home
企业场景:管理者可创建用于生产任务的工作空间并限制仅让运维人员使用,用于日常调试的工作空间并限制仅让开发人员使用。通过这种方式让不同的企业角色只能在指定工作空间下使用资源。 目前工作空间功能是“受邀开通”状态,作为企业用户您可以通过您对口的技术支持申请开通。 父主题: 权限控制方式
处理方法 尽量代码里不要去修改CUDA_VISIBLE_DEVICES变量,用系统默认里面自带的。 如果必须指定卡ID,需要注意1/2/4规格下,指定的卡ID与实际分配的卡ID不匹配的情况。 如果上述方法还出现了错误,可以去notebook里面调试打印CUDA_VISIBLE_DEV
户间的专属资源池物理隔离,公共资源池仅提供逻辑隔离,专属资源池的隔离性、安全性要高于公共资源池。 专属资源池用户资源独享,在资源充足的情况下,作业是不会排队的;而公共资源池使用共享资源,在任何时候都有可能排队。 专属资源池支持打通用户的网络,在该专属资源池中运行的作业可以访问打通
如果您需要更大的容器引擎空间,您可以通过以下操作调整容器引擎空间大小。 对于新建的资源池,支持在新建资源池时指定容器引擎空间大小,请参见创建资源池中“规格管理”参数下“高级选项”。 对于存量的资源池,可设置容器引擎空间大小应用于新增的节点。 方式一:单击某个资源池名称,进入资源池详情,单击“规格”页签,单
$PRE_SEQ_LEN \ --local_rank -1 处理方法 单卡执行脚本中添加参数“--local_rank -1”。 多卡模式下无需指定,会默认启动DistributedDataParallel(DDP)多卡并行模式。GPU环境单卡执行同样需要指定local_rank为
件和上层开发包,具有root权限,结合配置指导、初始化工具及容器镜像可以快速搭建昇腾开发环境。 缺点:资源申请周期长,购买成本高,管理视角下资源使用效率较低。 环境开通指导参考:DevServer资源开通 环境配置指导参考:Snt9B裸金属服务器环境配置指南 本文基于方式二的环境
态的Notebook可以执行停止操作。 Notebook停止后: “/home/ma-user/work”目录以及动态挂载在“/data”下的目录下的数据会保存,其余目录下内容会被清理。例如:用户在开发环境中的其他目录下安装的外部依赖包等,在Notebook停止后会被清理。您可以
ampler参数,避免不同进程数据重复 模型分发:DistributedDataParallel(model) 模型保存:在序号为0的进程下保存模型 import torch class Net(torch.nn.Module): pass model = Net().cuda()
提供“自动学习白盒化”能力,开放模型参数、自动生成模型,实现模板化开发,提高开发效率 采用自动深度学习技术,通过迁移学习(只通过少量数据生成高质量的模型),多维度下的模型架构自动设计(神经网络搜索和自适应模型调优),和更快、更准的训练参数自动调优自动训练 采用自动机器学习技术,基于信息熵上限近似模型的树
当您需要更多节点池时,可单击“创建节点池”新增节点池,相关参数请参见Lite Cluster资源开通。 查看节点列表 当您想查看某一节点池下的节点相关信息,可单击操作列的“节点列表”,可查询节点的名称、规格及可用区。 更新节点池 当您想更新节点池配置时,可单击操作列的“更新”,相关参数介绍请参见Step6
exists('obs://modelarts-test08/moxing/test01') 执行结果如图3所示。注意,每输入一行代码,单击下“Run”运行。您也可以进入OBS管理控制台,检查“modelarts-test08/moxing”目录,查看“test01”文件夹是否已创
务,和具体的AI引擎解耦,在ModelArts支持的所有AI引擎(TensorFlow、MXNet、PyTorch、MindSpore等)下均可以使用。 MoXing Framework模块提供了OBS中常见的数据文件操作,如读写、列举、创建文件夹、查询、移动、复制、删除等。 在ModelArts