检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
festFile时,src_path必须为具体的manifest路径,在manifest文件中可指定多个数据路径(参考推理manifest规范)。 dest_path 否 String batch服务类型必选。批量任务输出结果的OBS路径。 instance_count 是 Integer
如果命令未按照下图完整输出(比如命令报错或只输出了上半部分没有展示下面的进程信息),则需要先尝试恢复npu-smi工具(提交工单联系华为云技术支持),将npu-smi恢复后,再进行新版本的固件驱动安装。 图4 检查npu-smi工具 查看环境信息。执行如下命令查看当前拿到的机器的固件和驱动版本。
其中,${root_path_of_AscendCloud-LLM}为AscendCloud-LLM包解压后的根路径。 当使用昇腾云的官方指导文档制作推理镜像时,可直接基于该固定路径配置环境变量: export LLM_TOOLS_PATH=/home/ma-user/AscendC
能调试,选择不同的Conda环境。 Notebook:是一款Web应用,用户能够在界面编写代码,并且将代码、数学方程和可视化内容组合到一个文档中。 JupyterLab插件:插件包括规格切换,分享案例到AI Gallery进行交流,停止实例(实例停止后CPU、Memory不再计费)等,提升用户体验。
器指定到SideCar容器,这样可以不占用业务负载容器的资源。 自定义指标数据格式 自定义指标数据的格式必须是符合open metrics规范的文本,即每个指标的格式应为: <指标名称>{<标签名称>=<标签值>,...} <采样值> [毫秒时戳] 举例如下(#开头为注释,非必需):