检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
方式一：通过OpenAI服务API接口启动服务使用以下推理测试命令。${docker_ip}替换为实际宿主机的IP地址。${container_model_path}请替换为实际使用的模型名称。
在“预测”页签，单击“上传”，上传一个测试图片，单击“预测”查看预测结果。此处提供一个样例图片供预测使用。 图8 预测样例图 图9 预测结果 当预测界面显示出预测结果时，表示预测功能正常。此时您已经顺利完成本次案例体验。如果显示服务预测失败，可以参考案例服务预测失败解决。
Step5 推理性能测试 推理性能测试操作请参见推理性能测试。 父主题： 主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.910）
方式一：通过OpenAI服务API接口启动服务使用以下推理测试命令。${docker_ip}替换为实际宿主机的IP地址。${container_model_path}请替换为实际使用的模型名称。
构建前可以nerdctl pull拉取测试镜像是否能拉取成功。 <镜像名称>:<版本名称>：定义镜像名称。示例：pytorch_2_1_ascend:20240606。 ${base_image}为基础镜像地址。 父主题： 准备工作
使用命令测试推理服务是否正常启动。服务启动命令中的参数设置请参见表1。 方式一：通过OpenAI服务API接口启动服务使用以下推理测试命令。${model_path}请替换为实际使用的模型名称。
配置完成后，单击Test Connection测试连通性。 选择Yes，显示Successfully connected表示网络可以连通，单击OK。 在最下方再单击OK保存配置。
方式一：通过OpenAI服务API接口启动服务使用以下推理测试命令。${docker_ip}替换为实际宿主机的IP地址。
构建前可以 nerdctl pull 拉取测试一下镜像是否能拉取成功。 <镜像名称>:<版本名称>：定义镜像名称。示例：pytorch_2_1_ascend:20240606。 ${base_image}为基础镜像地址。
测试训练启动脚本。 优先使用手工进行数据复制的工作并验证 一般在镜像里不包含训练所用的数据和代码，所以在启动镜像以后需要手工把需要的文件复制进去。建议数据、代码和中间数据都放到"/cache"目录，防止正式运行时磁盘占满。
prompt拼接格式如下，其中 {instruction} 为用户推理测试时输入的内容。
prompt拼接格式如下，其中 {instruction} 为用户推理测试时输入的内容。
prompt拼接格式如下，其中 {instruction} 为用户推理测试时输入的内容。
prompt拼接格式如下，其中 {instruction} 为用户推理测试时输入的内容。
测试推理服务：工作流运行完成后，在服务部署节点右侧单击“实例详情”跳转至推理服务详情页。或者在ModelArts管理控制台，选择“部署上线>在线服务”，找到部署的推理服务，单击服务名称，进入服务详情页。单击“预测”，右边可查看预测结果。
提供测试模型以及对应的Demo代码路径（开源或共享）。 可以提前的完成POC评估，例如框架、算子支持度，以及可能的一些性能指标。
如高性能计算、企业核心集群应用、企业应用系统和开发测试等。 说明： 高性能计算：主要是高速率、高IOPS的需求，用于作为高性能存储，比如工业设计、能源勘探这些。
ModelArts默认提供了一组预置镜像供开发使用，这些镜像有以下特点： 零配置，即开即用，面向特定的场景，将AI开发过程中常用的依赖环境进行固化，提供合适的软件、操作系统、网络等配置策略，通过在硬件上的充分测试，确保其兼容性和性能最合适。
prompt拼接格式如下，其中 {instruction} 为用户推理测试时输入的内容。
prompt拼接格式如下，其中 {instruction} 为用户推理测试时输入的内容。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
