检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
执行时间最长。另一方面，由于是使用transformers推理，结果也是最稳定的。对单卡运行的模型比较友好，算力利用率比较高。对多卡运行的推理，缺少负载均衡，利用率低。 在昇腾卡上执行时，需要在 opencompass/opencompass/runners/local.py 中添加如下代码
如何获取访问密钥？ 获取访问密钥 登录华为云，在页面右上方单击“控制台”，进入华为云管理控制台。 图1 控制台入口 在控制台右上角的账户名下方，单击“我的凭证”，进入“我的凭证”页面。 图2 我的凭证 在“我的凭证”页面，选择“访问密钥>新增访问密钥”，如图3所示。 图3 单击新增访问密钥
于除/home/ma-user/work和/cache目录外的其他目录，因为持久化存储的部分（home/ma-user/work目录的内容）不会保存在最终产生的容器镜像中、“/cache”目录下存储的是临时文件，不占用容器空间。 如果没有文件可以删除，或者不清楚哪些可以删除，那么
执行时间最长。另一方面，由于是使用transformers推理，结果也是最稳定的。对单卡运行的模型比较友好，算力利用率比较高。对多卡运行的推理，缺少负载均衡，利用率低。 在昇腾卡上执行时，需要在 opencompass/opencompass/runners/local.py 中添加如下代码
执行时间最长。另一方面，由于是使用transformers推理，结果也是最稳定的。对单卡运行的模型比较友好，算力利用率比较高。对多卡运行的推理，缺少负载均衡，利用率低。 在昇腾卡上执行时，需要在 opencompass/opencompass/runners/local.py 中添加如下代码
性能调优三板斧。 性能分析与诊断。 迁移测试报告。 推理迁移验收表。 ModelArts开发环境 ModelArts作为华为云上的AI开发平台，提供交互式云上开发环境，包含标准化昇腾算力资源和完整的迁移工具链，帮助用户完成昇腾迁移的调测过程，进一步可在平台上将迁移的模型一键部署成
用于PyTorch引擎加速。 Notebook选择存储说明 不同存储的实现方式都不同，在性能、易用性、成本的权衡中可以有不同的选择，没有一个存储可以覆盖所有场景，了解下云上开发环境中各种存储使用场景说明，更能提高使用效率。 表5 云上开发环境中各种存储使用场景说明 存储类型 建议使用场景 优点 缺点
1卡Vnt1），存储方案使用“OBS的并行文件系统（存放数据和代码）”。 单机多卡：中等数据量（50G左右训练数据）、中等算力场景（8卡Vnt1），存储方案使用“SFS（存放数据和代码）”。 多机多卡：大数据量（1T训练数据）、高算力场景（4台8卡Vnt1），存储方案使用“SFS
ModelArts在线服务处于运行中时，如何填写request header和request body？ 问题现象 部署在线服务完成且在线服务处于“运行中”状态时，通过ModelArts console的调用指南tab页签可以获取到推理请求的地址，但是不知道如何填写推理请求的header及body。
执行时间最长。另一方面，由于是使用transformers推理，结果也是最稳定的。对单卡运行的模型比较友好，算力利用率比较高。对多卡运行的推理，缺少负载均衡，利用率低。 在昇腾卡上执行时，需要在 opencompass/opencompass/runners/local.py 中添加如下代码
执行时间最长。另一方面，由于是使用transformers推理，结果也是最稳定的。对单卡运行的模型比较友好，算力利用率比较高。对多卡运行的推理，缺少负载均衡，利用率低。 在昇腾卡上执行时，需要在 opencompass/opencompass/runners/local.py 中添加如下代码
构造请求 本节介绍REST API请求的组成，并以调用IAM服务的获取用户Token接口说明如何调用API，Token可以用于调用其他API时的鉴权。 您还可以通过这个视频教程了解如何构造请求调用API：https://bbs.huaweicloud.com/videos/102987
使用ModelArts时提示“权限不足”，如何解决？ 当您使用ModelArts时如果提示权限不足，请您按照如下指导对相关服务和用户进行授权，并对用户权限进行检查操作。 本案例中以OBS权限不足为例，介绍如何为用户授予OBS服务权限。其它权限不足的场景也可以参考本案例操作，只是授
功能而备受青睐。此外，vLLM还具备投机推理和自动前缀缓存等关键功能，使其在学术界和工业界都得到了广泛应用。 Ascend-vLLM是华为云针对NPU优化的推理框架，继承了vLLM的优点，并通过特定优化实现了更高的性能和易用性。它使得在NPU卡上运行大模型变得更加高效和便捷，为用
GPU裸金属服务器使用EulerOS内核误升级如何解决 问题现象 GP Vnt1裸金属服务器，操作系统为EulerOS 2.9(基于CentOS制作的Linux发行版)，经常遇到服务器重启后，操作系统内核无故升级，导致系统上原安装的nvidia-driver等软件无法使用，只能卸载重新安装。
使用ModelArts时提示“权限不足”，如何解决？ 当您使用ModelArts时如果提示权限不足，请您按照如下指导对相关服务和用户进行授权，并对用户权限进行检查操作。 本案例中以OBS权限不足为例，介绍如何为用户授予OBS服务权限。其它权限不足的场景也可以参考本案例操作，只是授
开启“节点高级配置”开关后，支持设置实例的操作系统。 存储配置 部分规格支持“存储配置”开关，该参数默认关闭。 系统盘 打开“存储配置”开关后，可以看到每个实例默认自带的系统盘的磁盘类型、大小或数量。 部分规格没有携带系统盘，在创建专属资源池时支持设置系统盘的磁盘类型和大小。 容器盘 打开“存储配置”开关后，可以看
有CV2依赖的so的内容。所以ModelArts不支持从对象存储服务（OBS）导入CV2模型包。 处理方法 需要您把CV2包制作为自定义镜像，上传至容器镜像服务（SWR），选择从容器镜像中导入元模型，部署在线服务。如何制作自定义镜像请参考从0-1制作自定义镜像并创建AI应用。 父主题：
镜像保存时报错“The container size (xG) is greater than the threshold (25G)”如何解决？ 问题现象 镜像保存时报错“The container size (30G) is greater than the threshold
在控制台左侧导航栏的服务列表，选择“对象存储服务OBS”，进入OBS服务详情页面。 在左侧导航栏选择“桶列表”，在列表详情，找到自己创建的OBS桶，单击桶名称，进入OBS桶详情。 在桶的详情页，左侧导航栏选择“对象”，在右侧“名称”列选中不需要的存储对象，单击操作列的“更多>删除”，即可删除相应的存储对象。 常见问题
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
