检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
图20 创建“dropdown”类型的表单 图21 删除表单 资源监控 在使用过程中，如果想了解资源使用情况，可在右侧区域选择“Resource Monitor”，展示“CPU使用率”和“内存使用率”。 图22 资源监控 父主题： 通过JupyterLab在线使用Notebook实例进行AI开发
tar”包。训练开始时从OBS上下载到“/cache”目录，解压以后使用。 如果文件较大，可以保存成多个“.tar”包，在入口脚本中调用多进程进行并行解压数据。不建议把散文件保存到OBS上，这样会导致下载数据很慢。 在训练作业中，使用如下代码进行“.tar”包解压： import
512 执行权重量化： python deepseek_moe_w8a8_int8.py 1、执行权重量化过程中，请保证使用的GPU卡上没有其他进程，否则可能出现OOM； 2、如果量化Deepseek-v2-236b模型，大致需要10+小时。 使用量化模型 使用量化模型需要在NPU的机器上运行。
512 执行权重量化： python deepseek_moe_w8a8_int8.py 1、执行权重量化过程中，请保证使用的GPU卡上没有其他进程，否则可能出现OOM； 2、若量化Deepseek-v2-236b模型，大致需要10+小时。 使用量化模型 使用量化模型需要在NPU的机器上运行。
静态文件路径，删除并且卸载镜像中的Jupyterlab服务； 用户自己业务占用了开发环境官方的8888、8889端口的，需要用户修改自己的进程端口号； 用户的镜像指定了PYTHONPATH、sys.path导致服务启动调用冲突的，需在实例启动后，再指定PYTHONPATH、sys
ptuning/run_npu_1d.sh export ASCEND_RT_VISIBLE_DEVICES=0 # 指定 0 号卡对当前进程可见 PRE_SEQ_LEN=128 LR=2e-2 python3 ptuning/main.py \ --do_train
对应的。例如在torch_npu下，当PyTorch版本低于2.1.0时，一个进程只能操作一张昇腾卡，不支持一个进程操作多卡的能力；在PyTorch2.1.0及以上版本中torch_npu才支持一个进程中使用多张昇腾卡。 基于PyTorch上的第三方开发库非常多，例如transf
[INFO] Booting worker with pid: 997 服务异常进程反复重启导致预测请求无法发送到服务实例。 可以通过以下方式解决问题： 缩小预测请求数量看是否问题还复现，如果不复现是因为负载过大导致服务进程退出，需要扩容实例数量或者提升规格。 推理代码本身存在错误，请排查推理代码解决。
表4 镜像保存过程中的事件列表 事件名称 事件描述 事件级别 SaveImage 保存镜像成功 重要 SavedImageFailed D进程引起的保存镜像失败 （There are processes in 'D' status, please check process status
个文件夹下。 --seq-length：要处理的最大seq length。 --workers：设置数据处理使用执行卡数量 / 启动的工作进程数。 --log-interval：是一个用于设置日志输出间隔的参数，表示输出日志的频率。在训练大规模模型时，可以通过设置这个参数来控制日志的输出。
512 执行权重量化： python deepseek_moe_w8a8_int8.py 1、执行权重量化过程中，请保证使用的GPU卡上没有其他进程，否则可能出现OOM； 2、若量化Deepseek-v2-236b模型，大致需要10+小时。 使用量化模型 使用量化模型需要在NPU的机器上运行。
kill -15 $gunicorn_pid # 传递 SIGTERM 给gunicorn进程 wait $gunicorn_pid # 等待gunicorn进程完全终止 fi } trap handle_sigterm TERM 父主题： 制作自定义镜像用于推理
Parallel）。 DP：数据并行（Data Parallelism）是大规模深度学习训练中常用的并行模式，它会在每个进程(设备)或模型并行组中维护完整的模型和参数，但在每个进程上或模型并行组中处理不同的数据。因此，数据并行非常适合大数据量的训练任务。 TP：张量并行也叫层内并行，通过将
个文件夹下。 --seq-length：要处理的最大seq length。 --workers：设置数据处理使用执行卡数量 / 启动的工作进程数。 --log-interval：是一个用于设置日志输出间隔的参数，表示输出日志的频率。在训练大规模模型时，可以通过设置这个参数来控制日志的输出。
Gallery仓库进行托管。单击“完成”返回镜像文件页面。 图1 上传成功 文件上传过程中请耐心等待，不要关闭当前上传页面，关闭页面会中断上传进程。 父主题： 发布和管理AI Gallery镜像
sh脚本。 #查询nginx进程 ps -ef |grep nginx #关闭所有nginx相关进程 kill -9 {进程ID} #运行run.sh脚本 sh run.sh 也可以执行pkill nginx命令直接关闭所有nginx进程。 #关闭所有nginx进程 pkill nginx
个文件夹下。 --seq-length：要处理的最大seq length。 --workers：设置数据处理使用执行卡数量 / 启动的工作进程数。 --log-interval：是一个用于设置日志输出间隔的参数，表示输出日志的频率。在训练大规模模型时，可以通过设置这个参数来控制日志的输出。
F权重存放在一个文件夹下。 --seq-length：要处理的最大seq length。 --workers：设置数据处理时，要执行的工作进程数。 --log-interval：是一个用于设置日志输出间隔的参数，表示输出日志的频率。在训练大规模模型时，可以通过设置这个参数来控制日志的输出。
ces:metricData:list（查询指标数据） 查看服务的监控指标 IEF ief:deployment:delete（删除应用部署） 管理边缘服务 AOM指标告警事件 AOM aom:alarm:list 查看AOM监控相关信息。 表9 管理数据集 业务场景 依赖的服务 依赖策略项
Issues）通常包含如下几类问题： 数据放在读写性能较差的存储盘上，如云上的EVS和EFS。 多卡训练时使用单进程dataloader，即num_workers参数默认为0。 存在其他多进程操作影响了数据多进程读取。 数据格式问题，例如zip、tar.gz等压缩包。 dataloader参数设置不合
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
