检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
附录：大模型推理常见问题 问题1：在推理预测过程中遇到NPU out of memory 解决方法：调整推理服务启动时的显存利用率，将--gpu-memory-utilization的值调小。 问题2：在推理预测过程中遇到ValueError:User-specified max_model_len
审核并验收团队标注任务结果 审核团队标注任务结果 团队标注成员完成后，团队审核者可以对标注结果进行审核。 登录ModelArts管理控制台，左侧菜单栏选择“数据准备>数据标注”，在数据标注页面选择“我参与的”，在任务列表“操作”列单击“审核”，发起审核。 图1 发起审核 在审核页面中
访问在线服务支持的传输协议 使用WebSocket协议的方式访问在线服务 使用Server-Sent Events协议的方式访问在线服务 父主题： 将模型部署为实时推理作业
算法运行时需要依赖鉴权服务，公共资源池是否支持两者打通网络？ 不支持，公共资源池不能打通网络。可通过专属资源池打通网络，使用ModelArts服务。 父主题： Standard资源池
使用从OBS选择的数据创建表格数据集如何处理Schema信息？ Schema信息表示表格的列名和对应类型，需要跟导入数据的列数保持一致。 若您的原始表格中已包含表头，需要开启“导入是否包含表头”开关，系统会导入文件的第一行（表头）作为列名，无需再手动修改Schema信息。 若您的原始表格中没有表头
附录：大模型推理常见问题 问题1：在推理预测过程中遇到NPU out of memory 解决方法：调整推理服务启动时的显存利用率，将--gpu-memory-utilization的值调小。 问题2：在推理预测过程中遇到ValueError:User-specified max_model_len
VS Code自动升级后，导致远程连接时间过长 问题现象 原因分析 由于VS Code自动升级，导致连接时需要重新下载新版vscode-server。 解决方法 禁止VS Code自动升级。单击左下角选择Settings项，搜索Update: Mode，将其设置为none。 图1
镜像保存时报错“BuildImage,True,Commit successfully|PushImage,False,Task is running.” 问题现象 镜像保存时报错BuildImage,True,Commit successfully|PushImage,False
访问在线服务支持的认证方式 通过Token认证的方式访问在线服务 通过AK/SK认证的方式访问在线服务 通过APP认证的方式访问在线服务 父主题： 将模型部署为实时推理作业
物体检测图片标注，一张图片是否可以添加多个标签？ 可以，一张图片可添加多个标签。 父主题： 数据标注
报错“no such identity: C:/Users/xx /test.pem: No such file or directory”如何解决？ 问题现象 原因分析 密钥文件不存在于该路径下，或者该路径下密钥文件名被修改。 解决方法 重新选择密钥路径。 父主题： VS Code
从AI Gallery中获取：请咨询该模型在AI Gallery中的发布者。 父主题： 在线服务
GPU A系列裸金属服务器节点内如何进行NVLINK带宽性能测试方法？ 场景描述 本文指导如何进行节点内NVLINK带宽性能测试，适用的环境为：Ant8或者Ant1 GPU裸金属服务器， 且服务器中已经安装相关GPU驱动软件，以及Pytorch2.0。 GPU A系列裸金属服务器，
/bert_pretrain_mindspore:v1 bert_pretrain_mindspore:v1 在主机上新建config.yaml文件。
≥Count/min ModelArts模型负载 ModelArts在线服务 1分钟 failed_called_times 调用失败次数 统计ModelArts用户调用服务的失败次数。 单位：次/分钟。
作为调用发起方的客户端无法访问已经获取到的推理请求地址 问题现象 完成在线服务部署且服务处于“运行中”状态后，已经通过调用指南页面的信息获取到调用的server端地址，但是调用发起方的客户端访问该地址不通，出现无法连接、域名无法解析的现象。 原因分析 在调用指南页签中显示的调用地址都是华为云
使用MobaXterm工具SSH连接Notebook后，经常断开或卡顿，如何解决？ 问题现象 MobaXterm成功连接到开发环境后，过一段时间会自动断开。 可能原因 配置MobaXterm工具时，没有勾选“SSH keepalive”或专业版MobaXterm工具的“Stop server
执行如下脚本进行权重转换生成量化系数，详细参数解释请参见https://github.com/NVIDIA/TensorRT-LLM/tree/main/examples/llama#int8-kv-cache） python convert_checkpoint.py \ --model_dir
用户使用ma-cli制作自定义镜像失败，报错文件不存在（not found） 问题现象 用户使用ma-cli制作自定义镜像失败，报错文件目录不存在。 图1 报错xxx not found 原因分析 复制的文件需要放在Dockerfile同级文件夹或者子目录中，不能放在Dockerfile
使用SSH工具连接Notebook，服务器的进程被清理了，GPU使用率显示还是100% 原因是代码运行卡死导致被进程清理，GPU显存没有释放；或者代码运行过程中内存溢出导致程序被清理，需要释放下显存，清理GPU，然后重新启动。为了避免进程结束引起的代码未保存，建议您每隔一段时间保存下代码输出至
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
