检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
图2 MME评估集 Step6 开始推理 进入解压后的源码包根目录。
使用网站https://pypi.org/project/tensorflow-gpu/2.10.0/#files，下载tensorflow_gpu-2.10.0-cp37-cp37m-manylinux_2_17_x86_64.manylinux2014_x86_64.whl文件
FROM {image_url} # 下载sd webui源码 RUN mkdir /home/ma-user/sdwebui RUN cd /home/ma-user/sdwebui && git config --global http.sslVerify false &&
|——AscendCloud-LLM ├──llm_inference # 推理代码 ├──ascend_vllm ├── vllm_npu # 推理源码 ├── ascend_vllm-0.5.0-py3-none-any.whl
|——AscendCloud-LLM ├──llm_inference # 推理代码 ├──ascend_vllm ├── vllm_npu # 推理源码 ├── ascend_vllm-0.5.0-py3-none-any.whl
通过git下载diffusers对应版本的源码。
|——AscendCloud-LLM ├──llm_inference # 推理代码 ├──ascend_vllm ├── vllm_npu # 推理源码 ├── ascend_vllm-0.6.0-py3-none-any.whl
|——AscendCloud-LLM ├──llm_inference # 推理代码 ├──ascend_vllm ├── vllm_npu # 推理源码 ├── ascend_vllm-0.6.0-py3-none-any.whl
/s（四进程） 性能约束：单次请求最大可以接受时延需小于1s 性能预期：QPS 20/s - 业务访问方式 推理业务访问：“客户端 -> 云服务” 或 “云客户端 -> 云服务”。
|——AscendCloud-LLM ├──llm_inference # 推理代码 ├──ascend_vllm ├── vllm_npu # 推理源码 ├── ascend_vllm-0.6.3-py3-none-any.whl
docker exec -it ${container_name} bash Step6 安装Decord Decord是一个高性能的视频处理库，在昇腾环境中安装需要修改一些源码进行适配。 Decord建议安装在 /home/ma-user/lib中。
/s（四进程） 性能约束：单次请求最大可以接受时延需小于1s 性能预期：QPS 20/s - 业务访问方式 推理业务访问：“客户端 -> 云服务” 或 “云客户端 -> 云服务”。
处理方法 使用单标签分类的数据集进行训练。 父主题： 数据集问题导致训练失败
该解决方案可以应用于如下场景： 新闻门户网站： 自动将新闻内容归类到相应板块，如科技、体育或国际新闻，以提升用户体验和内容检索效率。 社交媒体平台： 对用户分享的新闻链接进行智能分类，帮助用户迅速定位到感兴趣的话题。
获取路径：Support网站。 解压AscendCloud-AIGC-*.zip文件，解压后将里面指定文件与对应Wave2Lip文件进行替换。 cd /home/ma-user unzip AscendCloud-AIGC-*.zip -d .
性能调优 性能测试 benchmark工具也可用于性能测试，其主要的测试指标为模型单次前向推理的耗时。
nvidia-fabricmanager服务可以使单节点GPU卡间互联，在多卡GPU机器上，出现这种问题可能是nvidia-fabricmanger异常导致。 执行以下命令，查看NVIDIA和CUDA的版本，以及nvidia-fabricmanager的状态。
动态扩充云硬盘EVS容量 什么是动态扩容EVS 存储配置采用云硬盘EVS的Notebook实例， 存储盘是挂载至容器/home/ma-user/work/目录下， 可以在实例运行中的状态下，动态扩充存储盘容量，单次最大动态扩容100GB。
上传数据和算法至SFS（首次使用时需要） 前提条件 ECS服务器已挂载SFS，请参考ECS服务器挂载SFS Turbo存储。 在ECS中已经创建ma-user和ma-group用户，请参考在ECS中创建ma-user和ma-group。 已经安装obsutil，请参考下载和安装obsutil
步骤三：编写Workflow 本样例基于图像分类算法，构建包含训练单节点的Workflow。 Workflow编写时，使用到的其他Workflow节点对象导入请参考编排Workflow。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
