检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如何获取本机外网IP？ 本机的外网IP地址可以在主流搜索引擎中搜索“IP地址查询”获取。 图1 查询外网IP地址 父主题： 环境配置相关
pipeline应用准备 当前迁移路径是从ONNX模型转换到MindIR模型，再用MindSpore Lite做推理， 所以迁移前需要用户先准备好自己的ONNX pipeline。下文以官方开源的图生图的Stable Diffusion v1.5的onnx pipeline代码为例进行说明。
OBS复制过程中提示“BrokenPipeError: Broken pipe” 问题现象 训练作业在使用MoXing复制数据时，日志中出现报错“BrokenPipeError: [Errno xx] Broken pipe”。 原因分析 出现该问题的可能原因如下： 在大规模分布
ion/onnx_pipeline.py”也复制一份到该目录，名称改为“mslite_pipeline.py”，迁移后的推理代码中的pipeline需要修改为从复制的onnx pipeline文件导入： # onnx_pipeline.py from pipeline_onnx_
_vllm.sh及SSL证书。此处以chatglm3-6b为例。 ascend_vllm代码包在Step9 构建推理代码已生成。 模型权重文件获取地址请参见表1。 推理启动脚本run_vllm.sh制作请参见•创建推理脚本文件run_vllm.sh。 SSL证书制作包含cert.pem和key
Step1 准备模型文件和权重文件 在OBS桶中，创建文件夹，准备模型权重文件、推理启动脚本run_vllm.sh及SSL证书。此处以chatglm3-6b为例。 模型权重文件获取地址请参见支持的模型列表和权重文件。 如果需要部署量化模型，请参考推理模型量化在Notebook中进行权重转换，并将转换后的权重上传至OBS中。
Step1 准备模型文件和权重文件 在OBS桶中，创建文件夹，准备模型权重文件、推理启动脚本run_vllm.sh及SSL证书。此处以chatglm3-6b为例。 模型权重文件获取地址请参见支持的模型列表和权重文件。 如果需要部署量化模型，请参考推理模型量化在Notebook中进行权重转换，并将转换后的权重上传至OBS中。
bscriptions/{subscription_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 workflow_id 是 String 工作流的ID。 subscription_id
Step1 准备模型文件和权重文件 在OBS桶中，创建文件夹，准备模型权重文件、推理启动脚本run_vllm.sh及SSL证书。此处以chatglm3-6b为例。 模型权重文件获取地址请参见表1。 若需要部署量化模型，请参考推理模型量化在Notebook中进行权重转换，并将转换后的权重上传至OBS中。
Step1 准备模型文件和权重文件 在OBS桶中，创建文件夹，准备模型权重文件、推理启动脚本run_vllm.sh及SSL证书。此处以chatglm3-6b为例。 模型权重文件获取地址请参见支持的模型列表和权重文件。 若需要部署量化模型，请参考推理模型量化在Notebook中进行权重转换，并将转换后的权重上传至OBS中。
/v2/{project_id}/workflows/{workflow_id}/subscriptions 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 workflow_id 是 String 工作流的ID。
Step1 准备模型文件和权重文件 在OBS桶中，创建文件夹，准备模型权重文件、推理启动脚本run_vllm.sh及SSL证书。此处以chatglm3-6b为例。 模型权重文件获取地址请参见支持的模型列表和权重文件。 如果需要部署量化模型，请参考推理模型量化在Notebook中进行权重转换，并将转换后的权重上传至OBS中。
bscriptions/{subscription_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 workflow_id 是 String 工作流的ID。 subscription_id
id}/subscriptions/{subscription_id} 表1 路径参数 参数 是否必选 参数类型 描述 subscription_id 是 String 消息订阅ID。 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 workflow_id
下命令配置IP转发。 sed -i 's/net\.ipv4\.ip_forward=0/net\.ipv4\.ip_forward=1/g' /etc/sysctl.conf sysctl -p | grep net.ipv4.ip_forward Step2 获取基础镜像 建
pip介绍及常用命令 pip常用命令如下： pip --help#获取帮助 pip install SomePackage==XXXX #指定版本安装 pip install SomePackage #最新版本安装 pip uninstall SomePackage #卸载软件版本
ip_forward配置项的值不为1，执行以下命令配置IP转发。 sed -i 's/net\.ipv4\.ip_forward=0/net\.ipv4\.ip_forward=1/g' /etc/sysctl.conf sysctl -p | grep net.ipv4.ip_forward 获取基础镜像。建议使用官方提供的镜像部署推理服务。
使用pip install时出现“没有空间”的错误 问题现象 在Notebook实例中，使用pip install时，出现“No Space left...”的错误。 解决办法 建议使用pip install --no-cache ** 命令安装，而不是使用pip install
如何将git clone的py文件变为ipynb文件 在ipynb文件中，执行%load XXX.py命令，即可将py文件内容加载到ipynb中。以“test.py”文件为例，下图展示了如何将“test.py”的文件内容加载到ipynb文件中。 图1 test.py文件 图2 将“test
使用pip install提示Read timed out 问题现象 在Notebook实例中，使用pip install时，提示“ReadTimeoutError...”或者“Read timed out...”的错误。 解决办法 建议先尝试使用pip install --upgrade
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
