检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
period_seconds String 健康检查周期 failure_threshold String 健康检查最大失败次数 check_method String 健康检查方式:HTTP 或者 EXEC(命令行) command String 命令行命令,以空格分隔的字符串
运行如下命令,返回NPU设备信息。
运行如下命令,返回NPU设备信息。
#解析命令行参数 import argparse parser = argparse.ArgumentParser(description='MindSpore Lenet Example') parser.add_argument('--data_url', type=str,
进入benchmark_eval目录下,执行如下命令安装性能测试的关依赖。 pip install -r requirements.txt 执行精度测试启动脚本eval_test.py,具体操作命令如下,可以根据参数说明修改参数。
启动vLLM前,请开启图模式(参考步骤六 启动推理服务中的配置环境变量),启动服务的命令和启动非量化模型一致。 父主题: 推理模型量化
图3 kubectl访问集群配置 在节点机器中,输入命令,查看Kubernetes集群信息。如果显示如图4的内容,则配置成功。 kubectl cluster-info 图4 查看Kubernetes集群信息正确弹出内容 父主题: 准备工作
启动vLLM前,请开启图模式(参考步骤六 启动推理服务中的配置环境变量),启动服务的命令和启动非量化模型一致。 父主题: 推理模型量化
图3 kubectl访问集群配置 在节点机器中,输入命令,查看Kubernetes集群信息。如果显示如图图4的内容,则配置成功。 kubectl cluster-info 图4 查看Kubernetes集群信息正确弹出内容 父主题: 准备工作
执行以下命令,创建文本生成脚本。 vim generate_text.sh 增加内容如下: #!
本示例使用华为开源镜像站提供的apt源,执行如下命令获取apt源文件。
具体操作命令如下,可以根据参数说明修改参数。
运行如下命令,返回NPU设备信息。
但基础镜像中pip依赖包缺少或版本不匹配,因此每次创建训练作业时,训练作业的启动命令中都需要执行install.sh文件,来安装依赖以及下载完整代码。 ECS中构建新镜像方案:在ECS中,通过运行Dockerfile文件会在基础镜像上创建新的镜像。新镜像命名可自定义。
如使用以下示例数据集则命令如下。关于数据集文件格式及配置,更多信息请参考data/README_zh.md 的内容。
但基础镜像中pip依赖包缺少或版本不匹配,因此每次创建训练作业时,训练作业的启动命令中都需要执行install.sh文件,来安装依赖以及下载完整代码。 ECS中构建新镜像方案:在ECS中,通过运行Dockerfile文件会在基础镜像上创建新的镜像。新镜像命名可自定义。
具体操作命令如下,可以根据参数说明修改参数。
执行如下命令先停止nginx服务,再运行run.sh脚本。
cd modelarts-ascend/examples/AIGC/stable_diffusion # 必须执行该命令,否则会报错找不到sketch-mountains-input.jpg python onnx_pipeline.py 生成的图片fantasy_landscape.png
具体操作命令如下,可以根据参数说明修改参数。