检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
output2=obs://bucket/output2 --input String 否 训练的输入信息,指定后,训练作业将会把对应OBS上的数据下载到训练容器,并将数据存储路径通过指定的参数传递给训练脚本。如果需要指定多个参数,可以使用--input data_path1=obs://bucket/data1
指定模型输入、输出路径。 model_path = ** quant_path = ** 可以指定校准数据集路径,如calib_data="/path/to/pile-val",如不指定,默认数据集是“mit-han-lab/pile-val-backup”。 model.quantize(tokenizer
Cluster资源池详情页中查看更多信息。 图2 查看Lite Cluster资源池基本信息 管理Lite Cluster资源池标签 通过给资源池添加标签,可以标识云资源,便于快速搜索资源池。 在ModelArts管理控制台的左侧导航栏中选择“AI专属资源池 > 弹性集群Cluster”。 在Lite资源
XXXX的错误码,此时收到的response信息为模型服务返回的response信息,如果不符合预期,可以判断为模型服务返回的结果不符合预期。 建议与总结 鉴于模型服务有从对象存储服务(OBS)中导入,从容器镜像中导入,从AI Gallery中获取等多种途径,对于上述不同模型服务的来源所产生的常见问题及处理方法建议如下:
已冻结”,您将无法对处于保留期的包年/包月资源执行任何操作。 保留期到期后,如果包年/包月资源池仍未续费,那么计算资源将被释放,数据无法恢复。 华为云根据客户等级定义了不同客户的宽限期和保留期时长。 关于续费的详细介绍请参见续费概述。 父主题: 计费模式
修改目录权限,上传代码和数据到宿主机时使用的是root用户,如用ma-user用户训练,此处需要执行如下命令统一文件权限。 #统一文件权限 chmod -R 777 ${work_dir} # ${work_dir}:/home/ma-user/ws 宿主机代码和数据目录 #例如: chmod
资源池时自定义设置,设置专属资源池容器引擎空间不会造成额外费用增加。 如果使用的是OBS导入或者训练导入,则包含基础镜像、模型文件、代码、数据文件和下载安装软件包的大小总和。 如果使用的是自定义镜像导入,则包含解压后镜像和镜像下载文件的大小总和。 父主题: 导入模型
size的大小最大支持50G,专属资源池Docker size的大小最大支持50G。 如果使用的是OBS导入或者训练导入,则包含基础镜像、模型文件、代码、数据文件和下载安装软件包的大小总和。 如果使用的是自定义镜像导入,则包含解压后镜像和镜像下载文件的大小总和。 父主题: 模型管理
指定模型输入、输出路径。 model_path = ** quant_path = ** 可以指定校准数据集路径,如calib_data="/path/to/pile-val",如不指定,默认数据集是“mit-han-lab/pile-val-backup”。 model.quantize(tokenizer
会删除Notebook实例吗? JupyterLab目录的文件、Terminal的文件和OBS的文件之间的关系 ModelArts中创建的数据集,如何在Notebook中使用 pip介绍及常用命令 开发环境中不同Notebook规格资源“/cache”目录的大小 开发环境如何实现IAM用户隔离?
表3 请求Body参数 参数 是否必选 参数类型 描述 quotas 是 Array of quotas objects 工作空间配额数据。 表4 quotas 参数 是否必选 参数类型 描述 resource 是 String 资源标识。 quota 是 Integer 要
修改目录权限,上传代码和数据到宿主机时使用的是root用户,如用ma-user用户训练,此处需要执行如下命令统一文件权限。 #统一文件权限 chmod -R 777 ${work_dir} # ${work_dir}:/home/ma-user/ws 宿主机代码和数据目录 #例如: chmod
修改目录权限,上传代码和数据到宿主机时使用的是root用户,如用ma-user用户训练,此处需要执行如下命令统一文件权限。 #统一文件权限 chmod -R 777 ${work_dir} # ${work_dir}:/home/ma-user/ws 宿主机代码和数据目录 #例如: chmod
修改目录权限,上传代码和数据到宿主机时使用的是root用户,如用ma-user用户训练,此处需要执行如下命令统一文件权限。 #统一文件权限 chmod -R 777 ${work_dir} # ${work_dir}:/home/ma-user/ws 宿主机代码和数据目录 #例如: chmod
大小限制。 前提条件 请确保训练作业已运行成功,且模型已存储至训练输出的OBS目录下(输入参数为train_url)。 针对使用常用框架或自定义镜像创建的训练作业,需根据模型包结构介绍,将推理代码和配置文件上传至模型的存储目录中。 确保您使用的OBS目录与ModelArts在同一区域。
修改目录权限,上传代码和数据到宿主机时使用的是root用户,如用ma-user用户训练,此处需要执行如下命令统一文件权限。 #统一文件权限 chmod -R 777 ${work_dir} # ${work_dir}:/home/ma-user/ws 宿主机代码和数据目录 #例如: chmod
享使用该容器时,应限制容器访问Openstack的管理地址(169.254.169.254),以防止容器获取宿主机的元数据。具体操作请参见禁止容器获取宿主机元数据。 检查环境。 SSH登录机器后,检查NPU设备检查。运行如下命令,返回NPU设备信息。 npu-smi info
详情如下: Notebook 表1 Notebook挂载点介绍 挂载点 是否只读 备注 /home/ma-user/work/ 否 客户数据的持久化目录。 /data 否 客户PFS的挂载目录。 /cache 否 裸机规格时支持,用于挂载宿主机NVMe的硬盘。 /train-worker1-log
模型大小,单位为字节(Byte)。 model_train_dataset String 模型训练数据集。 model_dataset_format String 使用模型需要的数据集格式。 model_description_url String 模型描述链接。 parameter
String 容器中的日志路径。 表10 PersistentVolumes 参数 参数类型 描述 name String 存储卷的名称。 mount_path String 存储卷在容器中的挂载路径。如:/tmp。请不要挂载在系统目录下,如“/”、“/var/run”等,会导致容器异常。建