检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
--hf-num-gpus：需要使用的卡数。 --batch-size：推理每次处理的输入数目。 -w：存放输出结果的目录。 查看精度测试结果。 默认情况下，评测结果会按照result/{model_name}/的目录结果保存到对应的测试工程。执行多少次，则会在{model_na
Cache在后续每一轮中都要被重新计算。这两种情况下，如果能把system prompt和历史轮次中的KV Cache保存下来，留给后续的请求复用，将会极大地降低首Token的耗时。如果Prefix Cache和Generated KV Cache都可以缓存，在多轮对话的应用中，忽略边界情况，基本上可以认为其
检查docker是否安装。 docker -v #检查docker是否安装 如尚未安装，运行以下命令安装docker。 yum install -y docker 配置IP转发，用于容器内的网络访问。执行以下命令查看net.ipv4.ip_forward配置项的值，如果为1，可跳过此步骤。 sysctl
进入benchmark_tools目录下，执行如下命令安装性能测试的关依赖。 pip install -r requirements.txt 运行静态benchmark验证脚本benchmark_parallel.py，具体操作命令如下，可以根据参数说明修改参数。 cd benchmark_tools
检查docker是否安装。 docker -v #检查docker是否安装 如尚未安装，运行以下命令安装docker。 yum install -y docker 配置IP转发，用于容器内的网络访问。执行以下命令查看net.ipv4.ip_forward配置项的值，如果为1，可跳过此步骤。 sysctl
安装报错 “xxx.whl”文件无法安装，需要您按照如下步骤排查： 当出现“xxx.whl”文件无法安装，在启动文件中添加如下代码，查看当前pip命令支持的文件名和版本。 import pip print(pip.pep425tags.get_supported()) 获取到支持的文件名和版本如下：
设置资产的公开权限。可选值有： “公开”：表示所有使用AI Gallery的用户都可以查看且使用该资产。 “指定用户”：表示仅特定用户可以查看及使用该资产。 “仅自己可见”：表示只有当前账号可以查看并使用该资产。 设置“时长限制”。 设置订阅者可以免费使用资产的时长，默认关闭，即无
兼容的情况，例如transformers包，导致import的时候出现了错误。 用户代码问题，出现了内存越界、非法访问内存空间的情况。 未知系统问题导致，建议先尝试重建作业，重建后仍然失败，建议提工单定位。 处理方法 如果存在之前能跑通，什么都没修改，过了一阵跑不通的情况，先去排
时，资源池才能下发任务。 可以将鼠标放在“创建中”字样上，查看当前创建过程详情。若单击查看详情，可跳转到“操作记录”中。 可以在Lite资源池列表右上角的“操作记录”中查看资源池的任务记录。 图9 操作记录 图10 查看操作记录 当资源池创建成功后，资源池的状态会变成“运行中”。
例并使用。关于Dockerfile的具体编写方法，请参考官网。 查询基础镜像（第三方镜像可跳过此步骤） ModelArts提供的公共镜像，请参考Notebook专属预置镜像列表，根据预置镜像的引擎类型在对应的章节查看镜像URL。 连接容器镜像服务。 登录容器镜像服务控制台。选择左
book会冻结，需要等待几分钟（只需要保存一次）。 保存后的镜像可以在“ModelArts>镜像管理”中进行查看，对应完整的镜像名称为“详情->SWR地址”。 图20 查看保存后的镜像 Notebook在代码调试完成及保存镜像后就可以关闭了，减少资源浪费。 连接、停止、启动和断开Notebook实例。
ic_axes参数），此时需要在转换时明确指定输入的shape。 转换时指定输入shape可以在命令行中指定，也可以通过配置文件的形式进行指定。 在命令行中指定输入shape。 命令行可以直接通过--inputShape参数指定输入的shape，格式为“input_name:in
xxxxx: Connection refused”如何解决？ 问题现象 原因分析 实例处于非运行状态。 解决方法 请前往ModelArts控制台查看实例是否处于运行状态，如果实例已停止，请执行启动操作，如果实例处于其他状态比如“错误”，请尝试先执行停止然后执行启动操作。待实例变为“运行中”后，再次执行远程连接。
如尚未安装，运行以下命令安装docker。 yum install -y docker-engine.aarch64 docker-engine-selinux.noarch docker-runc.aarch64 配置IP转发，用于容器内的网络访问。执行以下命令查看net.ipv4
通过OBS导入模型时，如何编写打印日志代码才能在ModelArts日志查询界面看到日志 问题现象 用户通过OBS导入模型时，选择使用基础镜像，用户自己编写了部分推理代码实现自己的推理逻辑，出现故障后希望通过故障日志排查定位故障原因，但是通过logger打印日志无法在“在线服务”的日志中查看到部分内容。 原因分析 推理服
SSH登录机器后，检查NPU设备检查。运行如下命令，返回NPU设备信息。 npu-smi info # 在每个实例节点上运行此命令可以看到NPU卡状态 npu-smi info -l | grep Total # 在每个实例节点上运行此命令可以看到总卡数 如出现
requirements.txt 静态benchmark 运行静态benchmark验证脚本benchmark_parallel.py，具体操作命令如下，可以根据参数说明修改参数。 Notebook中进行测试： conda activate python-3.9.10 cd benchmark_tools
aconda（kernel依赖的python环境）的pip进行安装。 使用命令jupyter labextension list --app-dir=/home/ma-user/.lab/console查询 前端插件安装目录为：/home/ma-user/.local/share
get-docker.sh 如果docker images命令可以执行成功，表示Docker已安装，此步骤可跳过。 执行如下命令确认Docker Engine版本。 docker version | grep -A 1 Engine 命令回显如下。 ... Engine: Version:
SSH登录机器后，检查NPU卡状态。运行如下命令，返回NPU设备信息。 npu-smi info # 在每个实例节点上运行此命令可以看到NPU卡状态 npu-smi info -l | grep Total # 在每个实例节点上运行此命令可以看到总卡数 如出现
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
