检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
推理精度测试 本章节介绍如何使用opencompass工具开展语言模型的推理精度测试，数据集是ceval_gen、mmlu_gen、math_gen、gsm8k_gen、humaneval_gen。 约束限制 确保容器可以访问公网。 当前的精度测试仅适用于语言模型精度验证，不适用
GPU A系列裸金属服务器RoCE带宽不足如何解决？ 问题现象 GP Ant8支持RoCE网卡， Ubuntu20.04场景，在进行nccl-tests时，总线带宽理论峰值可达90GB/s，但实际测试下来的结果只有35GB/s。 原因分析 “nv_peer_mem”是一个Linu
开箱即用”，提供大模型开发套件，提升大模型开发效率并缩短开发周期。 访问方式 ModelArts基于不同的产品形态提供了多种访问方式。 管理控制台方式 ModelArts Standard支持通过管理控制台访问，包含自动学习、数据管理、开发环境、模型训练、模型管理、部署上线等功能
构造请求 本节介绍REST API请求的组成，并以调用IAM服务的获取用户Token接口说明如何调用API，Token可以用于调用其他API时的鉴权。 您还可以通过这个视频教程了解如何构造请求调用API：https://bbs.huaweicloud.com/videos/102987
便于管理和使用。 工作空间支持3种访问控制： PUBLIC：租户（主账号和所有子账号）内部公开访问。 PRIVATE：仅创建者和主账号可访问。 INTERNAL：创建者、主账号、指定IAM子账号可访问当授权类型为INTERNAL时需要指定可访问的子账号的账号名，可选择多个。 每个
myhuaweicloud.com。 原因分析 在Notebook中访问公网需要通过代理，访问huawei.com不通过公网代理，huaweicloud.com域名在no_proxy/NO_PROXY中包含，就访问不了。 解决方式 执行以下命令查看在no_proxy/NO_PROXY中是否包含huaweicloud
若重启后，还是会Pending，建议多重复重启几次。 其他实例调度失败问题 首先通过打印Pod日志信息。根据错误信息，可通过访问官网链接：工作负载异常：实例调度失败，进行查找。 如何删除config.yaml创建出的所有工作负载Pod 若要删除config.yaml创建出的所有工作负载Pod，需要先找到config
若重启后，还是会Pending，建议多重复重启几次。 其他实例调度失败问题 首先通过打印Pod日志信息。根据错误信息，可通过访问官网链接：工作负载异常：实例调度失败，进行查找。 如何删除config.yaml创建出的所有工作负载Pod 若要删除config.yaml创建出的所有工作负载Pod，需要先找到config
读取文件报错，如何正确读取文件 问题现象 创建训练作业如何读取“json”和“npy”文件。 训练作业如何使用cv2库读取文件。 如何在MXNet环境下使用torch包。 训练作业读取文件，出现如下报错： NotFoundError (see above for traceback):
若重启后，还是会Pending，建议多重复重启几次。 其他实例调度失败问题 首先通过打印Pod日志信息。根据错误信息，可通过访问官网链接：工作负载异常：实例调度失败，进行查找。 如何删除config.yaml创建出的所有工作负载Pod 若要删除config.yaml创建出的所有工作负载Pod，需要先找到config
若重启后，还是会Pending，建议多重复重启几次。 其他实例调度失败问题 首先通过打印Pod日志信息。根据错误信息，可通过访问官网链接：工作负载异常：实例调度失败，进行查找。 如何删除config.yaml创建出的所有工作负载Pod 若要删除config.yaml创建出的所有工作负载Pod，需要先找到config
Telnet 23 使用Telnet协议访问网站。 SMTP 25 SMTP服务器所开放的端口，用于发送邮件。 基于安全考虑，TCP 25端口出方向默认被封禁，申请解封请参考TCP 25端口出方向无法访问时怎么办？。 HTTP 80 使用HTTP协议访问网站。 POP3 110 使用POP3协议接收邮件。
使用ModelArts时提示“权限不足”，如何解决？ 当您使用ModelArts时如果提示权限不足，请您按照如下指导对相关服务和用户进行授权，并对用户权限进行检查操作。 本案例中以OBS权限不足为例，介绍如何为用户授予OBS服务权限。其它权限不足的场景也可以参考本案例操作，只是授
如何上传数据至OBS？ 使用ModelArts进行AI模型开发时，您需要将数据上传至对象存储服务（OBS）桶中。您可以登录OBS管理控制台创建OBS桶，并在您创建的OBS桶中创建文件夹，然后再进行数据的上传，OBS上传数据的详细操作请参见《对象存储服务快速入门》。 您在创建OBS
"C:/Users/xx/test1/xxx.pem": invalid format”如何解决？ 问题现象 原因分析 密钥文件内容不正确或格式不正确。 解决方法 请使用正确的密钥文件进行远程访问，如果本地没有正确的密钥文件或文件已损坏，可以尝试： 登录控制台，搜索“数据加密服务 DEW”，选择“密钥对管理
JupyterLab主页介绍 下面介绍如何从运行中的Notebook实例打开JupyterLab。 登录ModelArts管理控制台，在左侧菜单栏中选择“开发空间 > Notebook”，进入Notebook页面。 选择状态为“运行中”的Notebook实例，单击操作列的“打开”，访问JupyterLab。
推理精度测试 本章节介绍如何进行推理精度测试，数据集是ceval_gen、mmlu_gen。 前提条件 确保容器可以访问公网。 Step1 配置精度测试环境 获取精度测试代码。精度测试代码存放在代码包AscendCloud-LLM的llm_tools/llm_evaluation目录中，代码目录结构如下。
如何登录并上传镜像到SWR？ 本章节介绍如何上传镜像到容器镜像服务SWR。 Step1 登录SWR 登录容器镜像服务控制台，选择区域。 单击右上角“创建组织”，输入组织名称完成组织创建。您可以自定义组织名称，本示例使用“deep-learning”，实际操作时请重新命名一个组织名
使用ModelArts时提示“权限不足”，如何解决？ 当您使用ModelArts时如果提示权限不足，请您按照如下指导对相关服务和用户进行授权，并对用户权限进行检查操作。 本案例中以OBS权限不足为例，介绍如何为用户授予OBS服务权限。其它权限不足的场景也可以参考本案例操作，只是授
部署推理服务 本章节介绍如何使用vLLM 0.3.2框架部署并启动推理服务。 前提条件 已准备好Server环境，具体参考资源规格要求。推荐使用“西南-贵阳一”Region上的Server和昇腾Snt9b资源。 确保容器可以访问公网。 Step1 检查环境 SSH登录机器后，检查
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
