检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
不同模型推荐的训练参数和计算规格要求如表2所示。规格与节点数中的1*节点 & 4*Ascend表示单机4卡,以此类推。 表2 不同模型推荐的参数与NPU卡数设置 序号 支持模型 支持模型参数量 文本序列长度 并行参数设置 规格与节点数 1 llama2 llama2-7b SEQ_LEN=4096 TP(tensor
在代码目录中的.sh复制到容器之后,需要添加“x”可执行权限。 bash: /bin/ln: Permission denied 因安全问题,不支持用户开通使用In命令。 bash:/home/ma-user/.pip/pip.conf:Permission Denied 因从V1切换
Message”信息时,表示是由于OBS权限导致的问题,请参考如下步骤排除故障。如果界面错误提示不包含此信息,则是因为后台服务故障导致,建议联系华为云技术支持。 检查当前账号是否具备OBS权限。 如果当前账号是个IAM用户(即子账号),需确认当前账号是否具备OBS服务操作权限。 请参考OBS权限
Integer 指定要查询页的索引,默认为“1”。 sortBy 否 String 指定查询的排序方式,默认是作业名称作业id“job_id” ,目前支持的排序还有作业名称“job_name”,作业描述“job_desc”,创建时间“create_time” ,作业状态“status”。 order
文件名中的xxx表示具体的时间戳,以包名发布的实际时间为准。 获取路径:Support-E 如果没有软件下载权限,请联系您所在企业的华为方技术支持下载获取。 基础镜像包 swr.cn-southwest-2.myhuaweicloud.com/atelier/pytorch_2_1_ascend:pytorch_2
不同模型推荐的训练参数和计算规格要求如表2所示。规格与节点数中的1*节点 & 4*Ascend表示单机4卡,以此类推。 表2 不同模型推荐的参数与NPU卡数设置 序号 支持模型 支持模型参数量 文本序列长度 并行参数设置 规格与节点数 1 llama2 llama2-7b SEQ_LEN=4096 TP(tensor
不同模型推荐的训练参数和计算规格要求如表2所示。规格与节点数中的1*节点 & 4*Ascend表示单机4卡,以此类推。 表2 不同模型推荐的参数与NPU卡数设置 序号 支持模型 支持模型参数量 文本序列长度 并行参数设置 规格与节点数 1 llama2 llama2-7b SEQ_LEN=4096 TP(tensor
read(img_path), np.uint8), 1) 在MXNet环境下使用torch包,请您尝试如下方法先进行导包: import os os.sysytem('pip install torch') import torch 父主题: OBS操作相关故障
示Permission denied。请依次排查: 请确保读取的OBS桶和Notebook处于同一站点区域,例如:都在华北-北京四站点。不支持跨站点访问OBS桶。具体请参见查看OBS桶与ModelArts是否在同一个区域。 请确认操作Notebook的账号有权限读取OBS桶中的数
“数据增强”表示通过简单的数据扩增例如缩放、裁剪、变换、合成等操作直接或间接的方式增加数据量。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v2/{project
型,还需要手动修改tokenizer文件,具体请参见训练tokenizer文件说明。 由于模型中LoRA微调训练存在已知的精度问题,因此不支持TP(tensor model parallel size)张量模型并行策略,推荐使用PP(pipeline model parallel
建议通过开源的官方镜像来构建,例如PyTorch的官方镜像。 建议容器分层构建,单层容量不要超过1G、文件数不大于10w个。分层时,先构建不常变化的层,例如:先OS,再cuda驱动,再Python,再pytorch,再其他依赖包。 不建议把数据、代码放到容器镜像里。因为对应内容应该是经常变动的,会导致频繁的容器镜像构建操作。
如何安装C++的依赖库? 训练作业中如何判断文件夹是否复制完毕? 如何在训练中加载部分训练好的参数? 训练作业的启动文件如何获取训练作业中的参数? 训练作业中使用os.system('cd xxx')无法进入相应的文件夹? 训练作业如何调用shell脚本,是否可以执行.sh文件? 训练代码中,如何获取依赖文件所在的路径?
处理方法 将requirements.txt中的Unidecode改为unidecode。 建议与总结 您可以在训练代码里添加一行: os.system('pip list') 然后运行训练作业,查看日志中是否有所需要的模块。 父主题: 业务代码问题
资源管理 查询OS的配置参数 查询插件模板 查询节点列表 批量删除节点 批量重启节点 查询事件列表 创建网络资源 查询网络资源列表 查询网络资源 删除网络资源 更新网络资源 查询资源实时利用率 创建资源池 查询资源池列表,可通过标签、资源池状态筛选查询资源池列表 查询资源池 删除资源池
同样选择其他未标注分类图片,将其标注为“sunflowers”、“roses”等。标注完成后,图片将存储至“已标注”页签下。 图片标注不支持多标签,即一张图片不可以添加多个标签。 标签名是由中文、大小写字母、数字、中划线或下划线组成。 当图片目录中所有图片都完成标注后,您可以在
Standard,并进行在线推理预测的体验过程。 面向AI开发零基础的用户 从0-1制作自定义镜像并创建AI应用 针对ModelArts不支持的AI引擎,您可以构建自定义镜像,并将镜像导入ModelArts,创建为模型。本案例详细介绍如何使用自定义镜像创建模型,并部署成在线服务。
runtime没有找到。 处理方法 建议您按以下步骤排查处理: 确认部署在线服务时是否选择了GPU规格。 在customize_service.py中添加一行代码os.system('nvcc -V)查看该镜像的cuda版本(customize_service.py编写指导请见模型推理代码编写说明)。
根据错误信息判断,报错原因为训练作业运行程序读取不到GPU。 处理方法 根据报错提示,请您排查代码,是否已添加以下配置,设置该程序可见的GPU: os.environ['CUDA_VISIBLE_DEVICES'] = '0,1,2,3,4,5,6,7' 其中,0为服务器的GPU编号,可
不同模型推荐的训练参数和计算规格要求如表2所示。规格与节点数中的1*节点 & 4*Ascend表示单机4卡,以此类推。 表2 不同模型推荐的参数与NPU卡数设置 序号 支持模型 支持模型参数量 文本序列长度 并行参数设置 规格与节点数 1 llama2 llama2-7b SEQ_LEN=4096 TP(tensor