检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
工作空间配额数据。 表4 WorkspaceQuotasResponse 参数 参数类型 描述 max_quota Integer 配额允许设置的最大值。 update_time Integer 最后修改时间,UTC。如用户未修改过该资源配额,则该值默认为该工作空间的创建时间。 resource
--seq-length:要处理的最大seq length。 --workers:设置数据处理使用执行卡数量 / 启动的工作进程数。 --log-interval:是一个用于设置日志输出间隔的参数,表示输出日志的频率。在训练大规模模型时,可以通过设置这个参数来控制日志的输出。 输出数据预处理结果路径: 训练完成后,以
--seq-length:要处理的最大seq length。 --workers:设置数据处理使用执行卡数量 / 启动的工作进程数。 --log-interval:是一个用于设置日志输出间隔的参数,表示输出日志的频率。在训练大规模模型时,可以通过设置这个参数来控制日志的输出。 输出数据预处理结果路径: 训练完成后,以
规格,需要联系华为云技术支持申请开通。 当容器需要提供服务给多个用户,或者多个用户共享使用该容器时,应限制容器访问Openstack的管理地址(169.254.169.254),以防止容器获取宿主机的元数据。具体操作请参见禁止容器获取宿主机元数据。 SSH登录机器后,检查NPU卡
精度问题处理 设置高精度并重新转换模型 在转换模型时,默认采用的精度模式是fp16,如果转换得到的模型和标杆数据的精度差异比较大,可以使用fp32精度模式提升模型的精度(精度模式并不总是需要使用fp32,因为相对于fp16,fp32的性能较差。因此,通常只在检测到某个模型精度存在
time per iteration)×1000,其global batch size(GBS)、seq_len(SEQ_LEN)为训练时设置的参数。 loss收敛情况:日志里存在lm loss参数 ,lm loss参数随着训练迭代周期持续性减小,并逐渐趋于稳定平缓。 图2 查看日志和性能
规格,需要联系华为云技术支持申请开通。 当容器需要提供服务给多个用户,或者多个用户共享使用该容器时,应限制容器访问Openstack的管理地址(169.254.169.254),以防止容器获取宿主机的元数据。具体操作请参见禁止容器获取宿主机元数据。 SSH登录机器后,检查NPU卡
n/AscendSpeed/model/llama2-70B 必须修改。加载tokenizer与Hugging Face权重时,对应的存放地址。请根据实际规划修改。 对于ChatGLMv3-6B和Qwen系列模型,还需要手动修改tokenizer文件,具体请参见训练tokenizer文件说明。
注册镜像。登录ModelArts控制台,在左侧导航栏选择“镜像管理”,进入镜像管理页面。单击“注册镜像”,镜像源即为推送到SWR中的镜像。请将完整的SWR地址复制到这里即可,或单击可直接从SWR选择自有镜像进行注册,类型加上“GPU”,如图1所示。 图1 注册镜像 登录ModelArts管理控制台,在左侧导航栏中选择“开发空间
size参数,指定-1时为per-channel权重量化,W4A16支持128和-1,W8A16支持-1。 --w-bit:量化比特数,W4A16设置4,W8A16设置8。 --calib-data:数据集路径,推荐使用:https://huggingface.co/datasets/mit-ha
size参数,指定-1时为per-channel权重量化,W4A16支持128和-1,W8A16支持-1。 --w-bit:量化比特数,W4A16设置4,W8A16设置8。 --calib-data:数据集路径,推荐使用:https://huggingface.co/datasets/mit-ha
整体情况,需要给子账号授予CES权限。 如果只是查看监控,给子账号授予CES ReadOnlyAccess权限即可。 如果还需要在CES上设置监控告警,则需要再加上CES FullAccess权限,以及SMN消息通知权限。 (可选)配置VPC权限。如果用户在创建专属资源池过程中,
面。 选择运行中的Notebook实例,单击实例名称,进入Notebook实例详情页面,在“存储配置”页签,单击“添加数据存储”,设置挂载参数。 设置本地挂载目录,在“/data/”目录下输入一个文件夹名称,例如:demo。挂载时,后台自动会在Notebook容器的“/data/
“按实例数量”两种滚动方式。 按节点比例:每批次驱动升级的实例数量为“节点比例*资源池实例总数”。 按实例数量:每批次驱动升级的实例数量为设置的实例数量。 对于不同的升级方式,滚动升级选择节点的策略会不同: 如果升级方式为安全升级,则根据滚动实例数量选择无业务的节点,隔离节点并滚动升级。
身份认证(IAM)服务。 在统一身份认证服务页面的左侧导航选择“权限管理 > 权限”,单击右上角的“创建自定义策略”,设置策略,单击“确定”。 “策略名称”:设置自定义策略名称,例如:委托modelarts操作SFS Turbo。 “策略配置方式”:选择可视化视图或者JSON视图均可。
工作空间配额数据。 表6 WorkspaceQuotasUpdateResponse 参数 参数类型 描述 max_quota Integer 配额允许设置的最大值。 update_time Integer 最后修改时间,UTC。如用户未修改过该资源配额,则该值默认为该工作空间的创建时间。 resource
任务的历史记录,了解任务状态。 查看自动分组结果 在数据集详情页面的“全部”页签中,展开“筛选条件”,将“样本属性”设置为自动分组任务中的“属性名称”,并通过设置样本属性值,筛选出分组结果。 图2 查看自动分组结果 查看自动分组的历史任务 在数据集详情页面的“全部”页签中,单击“自动分组
器的本地目录。请保证您设置的桶路径有读取权限。在训练作业启动后,ModelArts会挂载硬盘至“/cache”目录,用户可以使用此目录来存储临时文件。“/cache”目录大小请参考训练环境中不同规格资源“/cache”目录的大小。 训练输出路径参数 建议设置一个空目录为训练输出路
单击“创建”,进入创建AI应用界面,元模型选择“从容器镜像中选择”,选择自定义镜像; 配置“容器调用接口”和端口号,端口号与模型配置文件中的端口保持一致; 图1 修改端口号 设置完成后,单击“立即创建”,等待AI应用状态变为“正常”; 重新部署在线服务。 父主题: 导入模型
可能是密钥文件或放置密钥的文件夹权限问题,密钥不正确等,请按以下步骤排查。 解决方案 排查/home/ma-user权限,建议将该目录权限设置为755或750,权限不能过于宽松,以保证用户隔离和安全。修改方法如下。 chomd 755 /home/ma-user chomd 750