检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
llel(DP) 和Distributed Data Parallel (DDP)。torch_npu环境下针对DDP场景的多卡训练有提供支持,具体请参见迁移单卡脚本为多卡脚本。此外,针对deepspeed环境,昇腾有专门的适配环境deepspeed-npu。在此提供一种基于de
有云和子网。 创建SFS Turbo SFS Turbo HPC型文件系统为用户提供一个完全托管的共享文件存储。SFS Turbo文件系统支持无缝访问存储在OBS对象存储桶中的对象,用户可以指定SFS Turbo内的目录与OBS对象存储桶进行关联,然后通过创建导入导出任务实现数据同步。通过OBS与SFS
有云和子网。 创建SFS Turbo SFS Turbo HPC型文件系统为用户提供一个完全托管的共享文件存储。SFS Turbo文件系统支持无缝访问存储在OBS对象存储桶中的对象,用户可以指定SFS Turbo内的目录与OBS对象存储桶进行关联,然后通过创建导入导出任务实现数据同步。通过OBS与SFS
Integer 指定要查询页的索引,默认为1。 sortBy 否 String 指定查询的排序方式,默认是根据引擎查找“engine”,目前支持的排序还有模型名称“model_name”,“model_precision”模型用途“model_usage”,模型精度描述“model
有云和子网。 创建SFS Turbo SFS Turbo HPC型文件系统为用户提供一个完全托管的共享文件存储。SFS Turbo文件系统支持无缝访问存储在OBS对象存储桶中的对象,用户可以指定SFS Turbo内的目录与OBS对象存储桶进行关联,然后通过创建导入导出任务实现数据同步。通过OBS与SFS
Arts 6.3.910 版本。 说明: 如果上述软件获取路径打开后未显示相应的软件信息,说明您没有下载权限,请联系您所在企业的华为方技术支持下载获取。 基础镜像包 swr.cn-southwest-2.myhuaweicloud.com/atelier/pytorch_2_1_ascend:pytorch_2
卡异常,建议提工单联系运维支持。 AI处理器健康状态 ma_container_npu_ai_core_health_status 昇腾系列AI处理器健康状态。 - 1:健康 0:不健康 连续2个周期原始值为0 紧急告警 卡异常,建议提工单联系运维支持。 AI处理器功耗 ma_c
“自动分组”是指先使用聚类算法对未标注图片进行聚类,再根据聚类结果进行处理,可以分组打标或者清洗图片。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v2/{project
"input": "输入(选填)", "output": "模型回答(必填)", } ] MOSS 指令微调数据:本案例中还支持 MOSS 格式数据,标准的.json格式的数据,内容包括可以多轮对话、指令问答。例如以下样例: { "conversation_id":
"input": "输入(选填)", "output": "模型回答(必填)", } ] MOSS 指令微调数据:本案例中还支持 MOSS 格式数据,标准的.json格式的数据,内容包括可以多轮对话、指令问答。例如以下样例: { "conversation_id":
手动修改训练参数和tokenizer文件,具体请参见训练tokenizer文件说明。 由于模型中LoRA微调训练存在已知的精度问题,因此不支持TP(tensor model parallel size)张量模型并行策略,推荐使用PP(pipeline model parallel
年/包月计费模式可以确保在整个项目周期内资源的稳定使用。 约束限制 包年/包月的资源池,不能进行跨region使用。 适用计费项 计算资源支持包年/包月。 表1 适用计费项 计费项 说明 计算资源 Standard专属资源池 弹性集群Lite Cluster资源池 弹性节点Server资源池
"input": "输入(选填)", "output": "模型回答(必填)", } ] MOSS 指令微调数据:本案例中还支持 MOSS 格式数据,标准的.json格式的数据,内容包括可以多轮对话、指令问答。例如以下样例: { "conversation_id":
"input": "输入(选填)", "output": "模型回答(必填)", } ] MOSS 指令微调数据:本案例中还支持 MOSS 格式数据,标准的.json格式的数据,内容包括可以多轮对话、指令问答。例如以下样例: { "conversation_id":
"input": "输入(选填)", "output": "模型回答(必填)", } ] MOSS 指令微调数据:本案例中还支持 MOSS 格式数据,标准的.json格式的数据,内容包括可以多轮对话、指令问答。例如以下样例: { "conversation_id":
Arts 6.3.911 版本。 说明: 如果上述软件获取路径打开后未显示相应的软件信息,说明您没有下载权限,请联系您所在企业的华为方技术支持下载获取。 基础镜像包 swr.cn-southwest-2.myhuaweicloud.com/atelier/pytorch_2_1_ascend:pytorch_2
字段,标注文件的存储路径。 “annotation-format”: 描述标注文件的格式,可选字段,默认为“PASCAL VOC”。目前只支持“PASCAL VOC”。 “sample-type”:样本格式,0表示图片,1表示文本,2表示语音,4表示表格,6表示视频。 表4 PASCAL
如果命令未按照下图完整输出(比如命令报错或只输出了上半部分没有展示下面的进程信息),则需要先尝试恢复npu-smi工具(提交工单联系华为云技术支持),将npu-smi恢复后,再进行新版本的固件驱动安装。 图6 检查npu-smi工具 工具检查正常后,进行固件和驱动安装。 固件和驱动安装时,注意安装顺序:
--profile-results:profiling结果的输出地址,用于估算配比的重要数据,可重复使用及用于离线计算配比 --ratio-model:配比计算方法,当前仅支持"ProducerConsumer" --workload-results:定期将处理过的请求输出到该目录下,务必是一个空文件夹 --max-files:记录请求的最大文件数量
Profiler接口采集。文档中包含torch_npu.profiler.profile、dynamic_profile等多种采集方式。任意torch_npu版本均支持torch_npu.profiler.profile方式,而其他采集方式则要求特定版本的torch_npu(2024年0630之后版本)。