检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
GPU A系列裸金属服务器如何更换NVIDIA和CUDA？ 场景描述 当裸金属服务器预置的NVIDIA版本和业务需求不匹配时，需要更换NVIDIA驱动和CUDA版本。本文介绍华为云A系列GPU裸金属服务器（Ubuntu20.04系统）如何从“NVIDIA 525+CUDA 12.0”更换为“NVIDIA
ModelArts在线服务预测请求体大小限制是多少？ 服务部署完成且服务处于运行中后，可以往该服务发送推理的请求，请求的内容根据模型的不同可以是文本，图片，语音，视频等内容。 当使用调用指南页签中显示的调用地址（华为云APIG网关服务的地址）预测时，对请求体的大小限制是12MB，超过12MB时，请求会被拦截。
Notebook提示磁盘空间已满 问题现象 在使用Notebook时，提示磁盘空间已满：No Space left on Device。 在Notebook执行代码时，出现如下报错，提示：Disk quota exceeded。 原因分析 在JupyterLab浏览器左侧导航删除
chingHostAllocator.cpp:278” 2.“libcudart.so.9.0 cannot open shared object file no such file or directory” 3.“Make sure the device specification
e_id}/workers 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 workforce_id 是 String 标注团队ID。 表2 Query参数 参数 是否必选 参数类型 描述 limit
PU资源部署在线服务时会收取少量资源费用，具体费用以界面信息为准。 参数配置完成后，单击“下一步”，确认规格参数后，单击“提交”启动在线服务的部署。 进入“部署上线 > 在线服务”页面，等待服务状态变为“运行中”时，表示服务部署成功。单击操作列的“预测”，进入服务详情页的“预测”页面。上传图片，预测结果。
打开一个Notebook实例，进入到Launcher界面。 在“Other”区域下，选择“Terminal”，新建一个terminal文件。 在代码输入栏输入以下命令，获取当前环境的kernel，并激活需要安装依赖的python环境。 cat /home/ma-user/README source /home
GPU A系列裸金属服务器RoCE带宽不足如何解决？ 问题现象 GP Ant8支持RoCE网卡， Ubuntu20.04场景，在进行nccl-tests时，总线带宽理论峰值可达90GB/s，但实际测试下来的结果只有35GB/s。 原因分析 “nv_peer_mem”是一个Linu
在ModelArts中使用自定义镜像创建在线服务，如何修改端口？ 当模型配置文件中定义了具体的端口号，例如：8443，创建模型没有配置端口，或者配置了其他端口号，均会导致服务部署失败。您需要把模型中的端口号配置为8443，才能保证服务部署成功。 修改默认端口号，具体操作如下： 登
使用GPU A系列裸金属服务器有哪些注意事项？ 使用华为云A系列裸金属服务器时有如下注意事项： nvidia-fabricmanager版本号必须和nvidia-driver版本号保持一致，可参考安装nvidia-fabricmanager方法。 NCCL必须和CUDA版本相匹配，可单击此处可查看配套关系和安装方法。
【下线公告】华为云ModelArts MindStudio/ML Studio/ModelBox镜像下线公告 华为云ModelArts服务MindStudio，ML Studio，ModelBox镜像将在2024年6月30日00:00（北京时间）正式退市。 下线范围 下线Region：华为云全部Region
完成资源配置后，单击“继续运行”，服务部署节点将继续运行，直至状态变为“运行成功”，至此，已将模型部署为在线服务。 服务测试 服务部署节点运行成功后，单击“实例详情”可跳转至对应的在线服务详情页面。单击“预测”页签，进行服务测试。 图1 服务测试 下面的测试，是您在自动学习图像
创建训练任务 调试代码 创建训练任务之前，建议先调试代码。 由于Notebook的/cache目录只能支持500G的存储，超过后会导致实例重启，ImageNet数据集大小超过该限制，因此建议用线下资源调试、或用小批量数据集在Notebook调试（Notebook调试方法与使用No
在总览页面进入CodeLab。 在“Other”区域下，选择“Terminal”，新建一个terminal文件。 在代码输入栏输入以下命令，获取当前环境的kernel，并激活需要安装依赖的python环境。 cat /home/ma-user/README source /home
日志提示“No space left on device” 问题现象 训练过程中复制数据/代码/模型时出现如下报错： 图1 错误日志 原因分析 出现该问题的可能原因如下。 磁盘空间不足。 分布式作业时，有些节点的docker base size配置未生效，容器内“/”根目录空间未
USE_OPENAI：仅在服务入口实例生效，用于配置api-server服务是否使用openai服务，默认为1。当配置为1时，启动服务为openai服务；当配置为0时，启动服务为vllm服务。 其中常见的参数如下： --host：服务部署的IP --port：服务部署的端口，注意如果不
Server服务器创建时绑定的虚拟私有云，单击链接可跳转到虚拟私有云详情页。 裸金属服务器 Lite Server服务器为一台裸金属服务器，单击链接可跳转至对应弹性裸金属服务器的详情页。 镜像 Lite Server服务器的镜像。 创建时间 Lite Server服务器的创建时间。
参数说明 --backend：服务类型，支持tgi、vllm、mindspore、openai等。上面命令中使用vllm举例。 --host ${docker_ip}：服务部署的IP，${docker_ip}替换为宿主机实际的IP地址。 --port：推理服务端口8080。 --tok
ModelArts部署在线服务时，如何避免自定义预测脚本python依赖包出现冲突？ 导入模型时，需同时将对应的推理代码及配置文件放置在模型文件夹下。使用Python编码过程中，推荐采用相对导入方式（Python import）导入自定义包。 如果ModelArts推理框架代码内
GPU裸金属服务器无法Ping通如何解决 问题现象 在华为云使用GPU裸金属服务器时， 服务器绑定EIP（华为云弹性IP服务）后，出现无法ping通弹性公网IP现象。 原因分析 查看当前GPU裸金属服务器的安全组的入方向规则的配置，发现仅开通了TCP协议的22端口。 ping命令
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
