云服务器内容精选
-
配套的基础镜像 镜像地址 获取方式 镜像软件说明 配套关系 西南-贵阳一 PyTorch： swr.cn-southwest-2.myhuaweicloud.com/atelier/pytorch_2_1_ascend:pytorch_2.1.0-cann_8.0.rc3-py_3.9-hce_2.0.2312-aarch64-snt9b-20240824153350-cebb080 swr.cn-southwest-2.myhuaweicloud.com/atelier/pytorch_2_2_ascend:pytorch_2.2.0-cann_8.0.rc3-py_3.10-hce_2.0.2312-aarch64-snt9b-20240829092203-4ccf328 镜像发布到SWR，从SWR拉取 固件驱动：23.0.6 CANN：cann_8.0.rc3 容器镜像OS：hce_2.0 PyTorch：pytorch_2.1.0、pytorch_2.2.0 MindSpore：MindSpore 2.3.0 FrameworkPTAdapter：6.0.RC3 如果用到CCE，版本要求是 CCE Turbo v1.28及以上
-
软件包获取地址 软件包名称 软件包说明 获取地址 AscendCloud-6.3.908-xxx.zip 包含 三方大模型训练和推理代码包：AscendCloud-LLM AIGC代码包：AscendCloud-AIGC 算子依赖包：AscendCloud-OPP 获取路径：Support-E 说明： 如果上述软件获取路径打开后未显示相应的软件信息，说明您没有下载权限，请联系您所在企业的华为方技术支持下载获取。
-
支持的特性 表1 本版本支持的特性说明 分类 软件包特性说明 参考文档 三方大模型，包名：AscendCloud-LLM 支持如下模型适配PyTorch-NPU的训练(ModelLink) llama2-7b llama2-13b llama2-70b qwen-7b qwen-14b qwen-72b baichuan2-13b chatglm3-6b llama3-8b llama3-70b yi-6B yi-34B qwen1.5-7B qwen1.5-14B qwen1.5-32B qwen1.5-72B qwen2-0.5b qwen2-1.5b qwen2-7b qwen2-72b glm4-9b mistral-7b mixtral-8x7b 支持如下模型适配PyTorch-NPU的训练(LlamaFactory) llama2-7b llama2-13b llama2-70b llama3-8b llama3-70b llama3.1-8b llama3.1-70b qwen1.5-0.5b qwen1.5-1.8b qwen1.5-4b qwen1.5-7b qwen1.5-14b yi-6b yi-34b qwen2-0.5b qwen2-1.5b qwen2-7b qwen2-72b falcon-11B glm4-9b LLM开源大模型基于DevServer适配ModelLinkPyTorch NPU训练指导（6.3.908） LLM开源大模型基于DevServer适配LLamaFactory PyTorch NPU训练指导（6.3.908） LLM开源大模型基于Standard+OBS适配PyTorch NPU训练指导（6.3.908） LLM开源大模型基于Standard+OBS+SFS适配PyTorch NPU训练指导（6.3.908） 支持如下模型适配PyTorch-NPU的推理。 llama-7B llama-13b llama-65b llama2-7b llama2-13b llama2-70b llama3-8b llama3-70b yi-6b yi-9b yi-34b deepseek-llm-7b deepseek-coder-instruct-33b deepseek-llm-67b qwen-7b qwen-14b qwen-72b qwen1.5-0.5b qwen1.5-7b qwen1.5-1.8b qwen1.5-14b qwen1.5-32b qwen1.5-72b qwen1.5-110b qwen2-0.5b qwen2-1.5b qwen2-7b qwen2-72b baichuan2-7b baichuan2-13b chatglm2-6b chatglm3-6b glm-4-9b gemma-2b gemma-7b mistral-7b mixtral 8*7B falcon2-11b qwen2-57b-a14b llama3.1-8b llama3.1-70b llama-3.1-405B llava-1.5-7b llava-1.5-13b llava-v1.6-7b llava-v1.6-13b llava-v1.6-34b ascend-vllm支持如下推理特性： 支持分离部署 支持多机推理 支持投机推理 支持chunked prefill特性 支持automatic prefix caching 支持multi-lora特性 支持W4A16、W8A16和W8A8量化 LLM开源大模型基于DevServer适配PyTorch NPU推理指导（6.3.908） LLM开源大模型基于Standard适配PyTorch NPU推理指导（6.3.908） AIGC，包名：AscendCloud-AIGC 支持如下框架或模型基于DevServer的PyTorch NPU推理： Stable-diffusion-webui Wav2Lip OpenSora1.2 OpenSoraPlan1.0 支持如下框架或模型基于DevServer的PyTorch NPU的训练： Diffusers Koyha_ss Wav2Lip InternVL2 OpenSora1.2 OpenSoraPlan1.0 SD WEBUI套件适配PyTorch NPU的推理指导（6.3.908） SDXL基于Standard适配PyTorch NPU的LoRA训练指导（6.3.908） SD1.5&SDXL Diffusers框架基于DevServer适配PyTorch NPU训练指导（6.3.908） SD1.5&SDXL Koyha框架基于DevServer适配PyTorch NPU训练指导（6.3.908） InternVL2基于DevServer适配PyTorch NPU训练指导（6.3.908） 算子，包名：AscendCloud-OPP Scatter、Gather算子性能提升，满足MoE训练场景 matmul、swiglu、rope等算子性能提升，支持vllm推理场景 支持random随机数算子，优化FFN算子，满足AIGC等场景 支持自定义交叉熵融合算子，满足BMTrain框架训练性能要求 优化PageAttention算子，满足vllm投机推理场景 支持CopyBlocks算子，满足vllm框架beam search解码场景 无
-
配套的基础镜像 镜像地址 获取方式 镜像软件说明 配套关系 西南-贵阳一 PyTorch： swr.cn-southwest-2.myhuaweicloud.com/atelier/pytorch_2_1_ascend:pytorch_2.1.0-cann_8.0.rc2-py_3.9-hce_2.0.2312-aarch64-snt9b-20240727152329-0f2c29a MindSpore： swr.cn-southwest-2.myhuaweicloud.com/atelier/mindspore_2_3_ascend:mindspore_2.3.0-cann_8.0.rc2-py_3.9-hce_2.0.2312-aarch64-snt9b-20240727152329-0f2c29a 镜像发布到SWR，从SWR拉取 固件驱动：23.0.6 CANN：cann_8.0.rc2 容器镜像OS：hce_2.0 PyTorch：pytorch_2.1.0 MindSpore：MindSpore 2.3.0 FrameworkPTAdapter：6.0.RC2 如果用到CCE，版本要求是CCE Turbo v1.25及以上
-
软件包获取地址 软件包名称 软件包说明 获取地址 AscendCloud-6.3.907-xxx.zip 包含 三方大模型训练和推理代码包：AscendCloud-LLM AIGC代码包：AscendCloud-AIGC 算子依赖包：AscendCloud-OPP 获取路径：Support-E 说明： 如果上述软件获取路径打开后未显示相应的软件信息，说明您没有下载权限，请联系您所在企业的华为方技术支持下载获取。
-
支持的特性 表1 本版本支持的特性说明 分类 软件包特性说明 参考文档 三方大模型，包名：AscendCloud-LLM 支持如下模型适配PyTorch-NPU的训练(ModelLink) llama2-7b llama2-13b llama2-70b qwen-7b qwen-14b qwen-72b baichuan2-13b chatglm3-6b llama3-8b llama3-70b yi-6B yi-34B qwen1.5-7B qwen1.5-14B qwen1.5-32B qwen1.5-72B qwen2-0.5b qwen2-1.5b qwen2-7b qwen2-72b glm4-9b 支持如下模型适配PyTorch-NPU的训练(LlamaFactory) llama3-8b llama3-70b qwen1.5-0.5b qwen1.5-1.8b qwen1.5-4b qwen1.5-7b qwen1.5-14b yi-6b yi-34b qwen2-0.5b qwen2-1.5b qwen2-7b qwen2-7b falcon-11B LLM开源大模型基于DevServer适配ModelLinkPyTorch NPU训练指导（6.3.907） LLM开源大模型基于DevServer适配LLamaFactory PyTorch NPU训练指导（6.3.907） LLM开源大模型基于Standard+OBS适配PyTorch NPU训练指导（6.3.907） LLM开源大模型基于Standard+OBS+SFS适配PyTorch NPU训练指导（6.3.907） 支持如下模型适配PyTorch-NPU的推理。 llama-7B llama-13b llama-65b llama2-7b llama2-13b llama2-70b llama3-8b llama3-70b yi-6b yi-9b yi-34b deepseek-llm-7b deepseek-coder-instruct-33b deepseek-llm-67b qwen-7b qwen-14b qwen-72b qwen1.5-0.5b qwen1.5-7b qwen1.5-1.8b qwen1.5-14b qwen1.5-32b qwen1.5-72b qwen1.5-110b qwen2-0.5b qwen2-1.5b qwen2-7b qwen2-72b baichuan2-7b baichuan2-13b chatglm2-6b chatglm3-6b glm-4-9b gemma-2b gemma-7b mistral-7b mixtral 8*7B falcon2-11b qwen2-57b-a14b llama3.1-8b llama3.1-70b ascend-vllm支持如下推理特性： vLLM版本升级至0.5.0 LLM开源大模型基于DevServer适配PyTorch NPU推理指导（6.3.907） LLM开源大模型基于Standard适配PyTorch NPU推理指导（6.3.907） AIGC，包名：AscendCloud-AIGC 支持如下框架或模型基于DevServer的PyTorch NPU推理： ComfyUI diffusers stable-diffusion-webui LLaVA Qwen-VL Wav2Lip OpenSora1.2 OpenSoraPlan1.0 支持如下框架或模型基于DevServer的PyTorch NPU的训练： diffusers koyha_ss LLaVA Wav2Lip OpenSora1.2 OpenSoraPlan1.0 SDXL基于Standard适配PyTorch NPU的LoRA训练指导（6.3.907） SD1.5&SDXL Diffusers框架基于DevServer适配PyTorch NPU训练指导（6.3.907） SD3 Diffusers框架基于DevServer适配PyTorch NPU推理指导（6.3.907） SD WEBUI套件适配PyTorch NPU的推理指导（6.3.907） SD1.5&SDXL Koyha框架基于DevServer适配PyTorch NPU训练指导（6.3.907） Open-Sora-Plan1.0基于DevServer适配PyTorch NPU训练推理指导（6.3.907） Open-Sora1.2基于DevServer适配PyTorch NPU训练推理指导（6.3.907） Wav2Lip基于DevServer适配PyTorch NPU推理指导（6.3.907） Wav2Lip基于DevServer适配PyTorch NPU训练指导（6.3.907） 算子，包名：AscendCloud-OPP Scatter、Gather算子性能提升，满足MoE训练场景 matmul、swiglu、rope等算子性能提升，支持vllm推理场景 支持random随机数算子，优化FFN算子，满足AIGC等场景 支持自定义交叉熵融合算子，满足BMTrain框架训练性能要求 优化PageAttention算子，满足vllm投机推理场景 支持CopyBlocks算子，满足vllm框架beam search解码场景 无
-
SD WebUI推理性能测试 以下性能测试数据仅供参考。 开启Flash Attention 生成1280x1280图片，使用Ascend: 1* ascend-snt9b(64GB)，约耗时7.5秒。 图1 生成图片耗时（1） 生成1280x1280图片，使用Ascend: 1* ascend-snt9b(32GB)，约耗时9.3秒。 图2 生成图片耗时（2） 不开启Flash Attention 生成1280x1280图片，使用Ascend: 1* ascend-snt9b(64GB)，约耗时10.1秒。 图3 生成图片耗时（3） 生成1280x1280图片，使用Ascend: 1* ascend-snt9b(32GB)，约耗时14.1秒。 图4 生成图片耗时（4） 父主题： SD WEBUI套件适配PyTorch NPU的推理指导（6.3.908）
-
Step4 创建AI应用 在ModelArts的AI应用页面，进行AI应用创建。 图3 创建AI应用 填写如下参数信息。 名称：AI应用的名称，请按照实际应用名填写。 版本：版本描述，请按照实际填写。 元模型来源：注意此处选择“从容器镜像选择”。 容器镜像所在路径：单击文件夹标签，选择已经制作好的镜像。 容器调用接口参数：根据镜像实际提供的协议和端口填写，本案例中的SDXL镜像提供HTTP服务和8183端口。 图4 填写参数（1） 系统运行架构： 选择ARM. 推理加速卡：无。 部署类型： 在线服务。 请求模式：同步请求。 启动命令： source /etc/bashrc && python3 launch.py --skip-torch-cuda-test --port 8183 --enable-insecure-extension-access --listen --log-startup --disable-safe-unpickle --skip-prepare-environment --api 按照上述配置完参数后，单击右下角的立即创建， 完成AI应用的创建。 图5 填写参数（2） 当AI应用状态变为正常时，表示创建完成。 图6 AI应用创建完成
-
Step5 部署服务 单击AI应用名称，进入AI应用详情页，单击部署在线服务。 图7 部署在线服务 填写如下服务部署参数。 名称： 服务的名称，按照实际需要填写 是否自动停止：如果配置自动停止，服务会按照配置的时间自动停止。如果需要常驻的服务，建议关掉该按钮。 描述：按照需要填写。 资源池：选择专属资源池。若之前未购买专属资源池，具体步骤请参考创建资源池。 资源规格要求： 硬盘空间：至少200GB。 昇腾资源规格：可以申请Ascend: 1* ascend-snt9b(32GB)或Ascend: 1* ascend-snt9b(64GB)规格。请按需选择需要的规格，64GB规格的推理耗时更短。 推荐使用“西南-贵阳一”Region上的昇腾资源。 AI应用来源： 我的AI应用。 选择AI应用及其版本：此处选择上一步中创建的sdxl-webui-pytorch:0.0.1应用。 计算节点规格： 按需选择Ascend: 1* ascend-snt9b(32GB)或Ascend: 1* ascend-snt9b(64GB)。 图8 填写服务部署参数 选择开启APP认证并选择应用。 图9 开启APP认证 按照上述配置完参数后，单击“下一步”， 确认信息无误后，单击“提交”，完成服务的部署。
-
Step6 访问在线服务 在Chrome浏览器中安装ModHeader插件。 图10 安装ModHeader插件 Chrome浏览器安装ModHeader插件后，可能会导致访问不了Modelarts平台，访问Modelarts时需要临时禁用ModHeader插件。或者使用Edge登录Modelarts，使用Chrome安装插件访问页面。 打开ModHeader，单击添加MOD。 图11 添加MOD 选择添加Request header。 图12 添加Request header 进入在线服务详情，查看Key值和Value值。 Key值固定为X-Apig-AppCode，Value值为APP认证的app_code值，在服务调用指南tab的APP认证API处展开，进行AppCode管理设置。 图13 获取Key值和Value值 将在ModHeader插件中添加Key值和Value值。 图14 添加Key和value 进入在线服务详情页，查看APP认证方式的服务API。 图15 API接口公网地址 复制API接口公网地址，并在地址后添加"/"，进行页面访问，例如： https://infer-app-modelarts-cn-southwest-2.myhuaweicloud.com/v1/infers/abc104bb-d303-4ffb-a8fa-XXXXXXXXX/ 图16 访问在线服务 输入Promt，修改所需要的请求参数（如Width、Height），进行Promt请求。 图17 填写请求参数 表1 SDXL模型参数及其含义 参数名称 说明 是否必选 默认值 prompt 提示词，根据提示词生成含有对应内容的图像 是 无 negative_prompt 反向提示词，图像生成过程中应避免的提示 否 无 num_inference_steps 推理步骤数，控制推理的步数 否 40 height 生成图像的纵向分辨率 否 1024 width 生成图像的横向分辨率 否 1024 high_noise_frac 高噪声比例，即基础模型跑的步数占总步数的比例 否 0.8 refiner_switch 是否使用细化模型refiner 否 true（使用） seed 随机种子，控制生成图像的多样性 否 无 您可在ModelArts控制台查看相关日志。 图18 查看相关日志 首次请求时会进行模型加载，耗时较长，因此第一个请求可能超时，第二个请求将会正常，请耐心等待。
-
Step1 准备环境 请参考DevServer资源开通，购买DevServer资源，并确保机器已开通，密码已获取，能通过SSH登录，不同机器之间网络互通。 购买DevServer资源时如果无可选资源规格，需要联系华为云技术支持申请开通。 当容器需要提供服务给多个用户，或者多个用户共享使用该容器时，应限制容器访问Openstack的管理地址（169.254.169.254），以防止容器获取宿主机的元数据。具体操作请参见禁止容器获取宿主机元数据。 检查环境。 SSH登录机器后，检查NPU设备检查。运行如下命令，返回NPU设备信息。 npu-smi info 如出现错误，可能是机器上的NPU设备没有正常安装，或者NPU镜像被其他容器挂载。请先正常安装固件和驱动，或释放被挂载的NPU。 检查docker是否安装。 docker -v #检查docker是否安装 如尚未安装，运行以下命令安装docker。 yum install -y docker-engine.aarch64 docker-engine-selinux.noarch docker-runc.aarch64 配置IP转发，用于容器内的网络访问。执行以下命令查看net.ipv4.ip_forward配置项的值，如果为1，可跳过此步骤。 sysctl -p | grep net.ipv4.ip_forward 如果net.ipv4.ip_forward配置项的值不为1，执行以下命令配置IP转发。 sed -i 's/net\.ipv4\.ip_forward=0/net\.ipv4\.ip_forward=1/g' /etc/sysctl.conf sysctl -p | grep net.ipv4.ip_forward、
-
Step4 进入容器运行 进入容器后执行启动命令。 docker exec -it ${container_name} bash python3 launch.py --port 8183 --skip-torch-cuda-test --enable-insecure-extension-access --listen --log-startup --disable-safe-unpickle --api 等待克隆仓库，下载依赖模型，启动成功后显示如图1所示。 图1 启动成功后显示 如果在安装编译handrefinerportable时出错，则需手动下载whl包： wget https://github.com/huchenlei/HandRefinerPortable/releases/download/v1.0.1/handrefinerportable-2024.2.12.0-py2.py3-none-any.whl pip install handrefinerportable-2024.2.12.0-py2.py3-none-any.whl --no-deps 验证PyTorch版本，需要torch==2.1.0。 pip list | grep torch #如果不是2.1.0版本，请重新安装 pip uninstall torch pip install torch==2.1.0 验证效果。 新开启一个终端，执行以下命令。 curl --noproxy '*' -kv -X POST localhost:8183/sdapi/v1/txt2img -H "Content-Type: application/json" -d '{"prompt":"ultrarealistic shot of a furry blue bird"}' 执行成功显示： 图2 执行成功显示 在浏览器输入http://{宿主机ip}:8183，可以访问前端页面，通过输入文字生成图片。 图3 输入文字生成图片 注意需要勾选Enable Flash Attention按钮。 图4 Enable Flash Attention优化按钮
-
Step3 启动 自定义镜像 执行以下命令启动自定义镜像。 docker run -itd --name ${container_name} -p 8183:8183 -v /sys/fs/cgroup:/sys/fs/cgroup:ro -v /etc/localtime:/etc/localtime -v /usr/local/Ascend/driver:/usr/local/Ascend/driver -v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi --shm-size 60g --device=/dev/davinci_manager --device=/dev/hisi_hdc --device=/dev/devmm_svm --device=/dev/davinci0 --security-opt seccomp=unconfined --network=bridge sdxl-train:0.0.1 bash
-
镜像版本 本教程中用到基础镜像地址和配套版本关系如下表所示，请提前了解。 表2 基础容器镜像地址 镜像用途 镜像地址 Cann版本 基础镜像 swr.cn-southwest-2.myhuaweicloud.com/atelier/pytorch_2_2_ascend:pytorch_2.2.0-cann_8.0.rc3-py_3.10-hce_2.0.2312-aarch64-snt9b-20240829092203-4ccf328 cann_8.0.rc3
-
软件配套版本 本方案支持的软件配套版本和依赖包获取地址如表1所示。 表1 软件配套版本和获取地址 软件名称 说明 下载地址 插件代码包 AscendCloud-3rdAIGC-6.3.908-xxx.zip 文件名中的xxx表示具体的时间戳，以包名的实际时间为准。 获取路径：Support-E 说明： 如果上述软件获取路径打开后未显示相应的软件信息，说明您没有下载权限，请联系您所在企业的华为方技术支持下载获取。
更多精彩内容
CDN加速
GaussDB
文字转换成语音
免费的服务器
如何创建网站
域名网站购买
私有云桌面
云主机哪个好
域名怎么备案
手机云电脑
SSL证书申请
云点播服务器
免费OCR是什么
电脑云桌面
域名备案怎么弄
语音转文字
文字图片识别
云桌面是什么
网址安全检测
网站建设搭建
国外CDN加速
SSL免费证书申请
短信批量发送
图片OCR识别
云数据库MySQL
个人域名购买
录音转文字
扫描图片识别文字
OCR图片识别
行驶证识别
虚拟电话号码
电话呼叫中心软件
怎么制作一个网站
Email注册网站
华为VNC
图像文字识别
企业网站制作
个人网站搭建
华为云计算
免费租用云托管
云桌面云服务器
ocr文字识别免费版
HTTPS证书申请
图片文字识别转换
国外域名注册商
使用免费虚拟主机
云电脑主机多少钱
鲲鹏云手机
短信验证码平台
OCR图片文字识别
SSL证书是什么
申请企业邮箱步骤
免费的企业用邮箱
云免流搭建教程
域名价格
