检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ace token进行登录： huggingface-cli login 登录成功后，直接启动步骤三中的Diffusers推理脚本即可实现自动下载。 对于ComfyUI框架，只需要下载safetensors文件即可，即 https://huggingface.co/stabili
管理页面。 在服务列表中，单击目标服务操作列的“修改”，修改服务基本信息，然后根据提示提交修改任务。 当修改了服务的某些参数配置时，系统会自动重启服务使修改生效。在提交修改服务任务时，如果涉及重启，会有弹窗提醒。批量服务参数说明请参见将模型部署为批量推理服务。 方式二：通过服务详情页面修改服务信息
导致OBS桶限流。 OBS Client连接数过多，进程/线程之间的轮询，导致一个OBS Client与服务端连接30S内无响应，超过超时时间，服务端断开了连接。 处理方法 如果是限流问题，日志中还会出现如下报错，OBS相关的错误码解释请参见OBS官方文档，这种情况建议提工单。 [ModelArts
点，导致volcano无法启动，进而导致modelarts-os节点上管理污点的maos-node-agent容器无法启动，使得污点无法被自动清理。 处理方法 （推荐）解决方案一（按需使用volcano调度器）： CCE页面上修改默认调度器为kube-scheduler。 删除m
txt，打印训练过程中AICORE利用率 本章节主要介绍训练性能训练任务流程，如需执行训练精度任务可参考训练精度测试 PPO强化训练时必须关闭共享内存，启动任务命令需设置PYTORCH_NPU_ALLOC_CONF值为False，具体命令如下： PYTORCH_NPU_ALLOC_CONF
服务并在ModelArts资源上执行管理命令。ma-cli支持用户在ModelArts Notebook及线下虚拟机中与云端服务交互，使用ma-cli命令可以实现命令自动补全、鉴权、镜像构建、提交ModelArts训练作业、提交DLI Spark作业、OBS数据复制等，具体参见ModelArts
|── alpaca_gpt4_data.json # 微调数据文件 在ECS服务器中安装obsutil工具，具体命令可参考obsutil工具快速使用，将OBS桶中的数据下载至SFS Turbo中。注意：需要使用用户账
|── alpaca_gpt4_data.json # 微调数据文件 在ECS服务器中安装obsutil工具，具体命令可参考obsutil工具快速使用，将OBS桶中的数据下载至SFS Turbo中。注意：需要使用用户账
|── alpaca_gpt4_data.json # 微调数据文件 在ECS服务器中安装obsutil工具，具体命令可参考obsutil工具快速使用，将OBS桶中的数据下载至SFS Turbo中。注意：需要使用用户账
nt4的权重进行打包。昇腾上使用int8对权重进行打包，在线转换会增加启动时间，可以提前对权重进行转换以减少启动时间，转换步骤如下： 进入llm_tools/AutoAWQ代码目录下执行以下脚本： 执行时间预计10分钟。执行完成后会将权重路径下的原始权重替换成转换后的权重。如需保留之前权重格式，请在转换前备份。
k使用的cuda版本？ 在ModelArts的Notebook中如何获取本机外网IP？ ModelArts的Notebook有代理吗？如何关闭？ 在ModelArts的Notebook中内置引擎不满足使用需要时，如何自定义引擎IPython Kernel？ 在ModelArts的Notebook中如何将git
|── alpaca_gpt4_data.json # 微调数据文件 在ECS服务器中安装obsutil工具，具体命令可参考obsutil工具快速使用，将OBS桶中的数据下载至SFS Turbo中。注意：需要使用用户账
命令下载并安装AutoAWQ源码。 bash build.sh 2、运行“examples/quantize.py”文件进行模型量化，量化时间和模型大小有关，预计30分钟~3小时。 export ASCEND_RT_VISIBLE_DEVICES=0 #设置使用NPU单卡执行模型量化
nt4的权重进行打包。昇腾上使用int8对权重进行打包，在线转换会增加启动时间，可以提前对权重进行转换以减少启动时间，转换步骤如下： 进入llm_tools/AutoAWQ代码目录下执行以下脚本： 执行时间预计10分钟。执行完成后会将权重路径下的原始权重替换成转换后的权重。如需保留之前权重格式，请在转换前备份。
nt4的权重进行打包。昇腾上使用int8对权重进行打包，在线转换会增加启动时间，可以提前对权重进行转换以减少启动时间，转换步骤如下： 进入llm_tools/AutoAWQ代码目录下执行以下脚本： 执行时间预计10分钟。执行完成后会将权重路径下的原始权重替换成转换后的权重。如需保留之前权重格式，请在转换前备份。
95% 重要 排查是否符合业务资源使用预期，如果业务无问题，无需处理。 CPU IO等待时间 ma_node_cpu_iowait_counter 从系统启动开始累计到当前时刻，硬盘IO等待时间 jiffies ≥0 NA NA NA 内存 物理内存使用率 ma_node_memory_util
sort=trending&search=QWEN+AWQ 方式二：使用AutoAWQ量化工具进行量化。 运行“examples/quantize.py”文件进行模型量化，量化时间和模型大小有关，预计30分钟~3小时。 export ASCEND_RT_VISIBLE_DEVICES=0 #设置使用NPU单卡执行模型量化
软件配套版本和获取地址 软件名称 说明 下载地址 AscendCloud-6.3.910-xxx.zip 说明： 软件包名称中的xxx表示时间戳。 包含了本教程中使用到的推理部署代码和推理评测代码、推理依赖的算子包。代码包具体说明请参见模型软件包结构说明。 获取路径：Suppor
实例pod数量异常 。 如果您曾经找过运维人员删除过异常的实例pod，事件中可能会出现告警“服务异常，不正常的实例数为XXX”。在出现这种告警后，服务会自动拉起新的正常实例，从而恢复到正常运行状态。请您耐心等待。 父主题： 服务部署
置文件中配置apis信息时，则可不填，后台自动从配置文件的apis字段中读取输入参数信息。 output_params 否 params结构数组 模型推理输出参数列表，默认为空。如果已在模型配置文件中配置apis信息时，则可不填，后台自动从配置文件的apis字段中读取输出参数信息。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
