检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
可选值有以下两种。 “asc”为递增排序。 “desc”为递减排序,默认为“desc”。 search_content 否 String 指定要查询的文字信息,例如参数名称。默认为空。 响应消息 响应参数如表3所示。 表3 响应参数 参数 参数类型 说明 is_success Boolean
动态shape 在某些推理场景中,模型输入的shape可能是不固定的,因此需要支持用户指定模型的动态shape,并能够在推理中接收多种shape的输入。在CPU上进行模型转换时无需考虑动态shape问题,因为CPU算子支持动态shape;而在Ascend场景上,算子需要指定具体的
--image-input-shape:输入图片维度,当前不支持图片动态维度,如果图片不是(1,336,336)shape,将会被resize。 --image-feature-size:图片输入解析维度大小;llava-v1.6图片输入维度与image-feature-size关系映射表见git;计算原理如下:
s-input.jpg python onnx_pipeline.py 生成的图片fantasy_landscape.png会保存在当前路径下,该图片也可以作为后期精度校验的一个对比。 图2 生成图片 父主题: 基于AIGC模型的GPU推理业务迁移至昇腾指导
--image-input-shape:输入图片维度,当前不支持图片动态维度,如果图片不是(1,336,336)shape,将会被resize。 --image-feature-size:图片输入解析维度大小;llava-v1.6图片输入维度与image-feature-size关系映射表见git;计算原理如下:
8S NodeCondtition中。同时,节点故障指标默认会上报到AOM,您可在AOM配置告警通知。 当发生节点异常时,在故障初步分析阶段,您可先按表1识别是否为亚健康并自助进行处理,如果不是,则为故障,请联系客户经理发起维修流程(如果无客户经理可提交工单)。 表1 节点故障类型定义
Util”、“memUsage”“npuMemUsage”、“npuUtil”、可以添加或取消对应参数的使用情况图。 操作三:鼠标悬浮在图片上的时间节点,可查看对应时间节点的占用率情况。 表1 参数说明 参数 说明 cpuUsage cpu使用率。 gpuMemUsage gpu内存使用率。
设置动态分档位后,在PTA模式下不支持接收超过最大档的并发请求,超过后会导致推理服务终止。请将最大档(PTA_TORCHAIR_DECODE_GEAR_LIST参数的中设置的最大值)与模型启动时的max-num-seqs保持一致来进行规避。 在MoE模型和小模型上推荐使用图模式部署
模型部署完成后,“在服务部署”节点,单击“实例详情”按钮,进入服务预测界面,在“预测”页签单击“上传”,选择本地图片进行测试。 单击“预测”进行测试,预测完成后,右侧“预测结果”区域输出标签名称“sunflowers”和检测的评分。如模型准确率不满足预期,可在“数据标注”页签中添加图片并进行
create_time Long 版本创建时间。 crop Boolean 是否对图片进行裁剪,只对标注框形状为bndbox的物体检测数据集有效。可选值如下: true:对图片进行裁剪 false:不对图片进行裁剪(默认值) crop_path String 裁剪后的文件存放路径。
如benchmark_parallel.csv。 --height: 图片长度(分辨率相关参数)。 --width: 图片宽度(分辨率相关参数)。 --served-model-name: 选择性添加,在接口中使用的模型名;如果没有配置,则默认为tokenizer。 脚本运行完
如benchmark_parallel.csv。 --height: 图片长度(分辨率相关参数)。 --width: 图片宽度(分辨率相关参数)。 --served-model-name: 选择性添加,在接口中使用的模型名;如果没有配置,则默认为tokenizer。 脚本运行完
#可选 设置动态分档位后,在PTA模式下不支持接收超过最大档的并发请求,超过后会导致推理服务终止。请将最大档(PTA_TORCHAIR_DECODE_GEAR_LIST参数的中设置的最大值)与模型启动时的max-num-seqs保持一致来进行规避。 在MoE模型上推荐使用图模式部署,包
看ModelArts中正在收费的作业?识别产生按需计费的原因,并重新选择正确的资源包或保证账户中的余额充足。 未购买资源包,在按需计费模式下账户的余额不足。 欠费影响 包年/包月 对于包年/包月专属资源池,用户已经预先支付了资源费用,因此在账户出现欠费的情况下,已有的包年/包月专
如何查看训练作业资源使用详情 在ModelArts管理控制台的左侧导航栏中选择“模型训练 > 训练作业”。 在训练作业列表中,单击作业名称进入训练作业详情页面。 在训练作业详情页面,单击“资源占用情况”页签查看计算节点的资源使用情况,最多可显示最近三天的数据。在“资源占用情况”窗口打开
csv。 --height: 图片长度(分辨率相关参数)。 --width: 图片宽度(分辨率相关参数)。 --served-model-name: 选择性添加,在接口中使用的模型名;如果没有配置,则默认为tokenizer。 备注:当前版本仅支持语言+图片多模态性能测试。 脚本运行
csv。 --height: 图片长度(分辨率相关参数)。 --width: 图片宽度(分辨率相关参数)。 --served-model-name: 选择性添加,在接口中使用的模型名;如果没有配置,则默认为tokenizer。 备注:当前版本仅支持语言+图片多模态性能测试。 脚本运行
csv。 --height: 图片长度(分辨率相关参数)。 --width: 图片宽度(分辨率相关参数)。 --served-model-name: 选择性添加,在接口中使用的模型名;如果没有配置,则默认为tokenizer。 备注:当前版本仅支持语言+图片多模态性能测试。 脚本运行
能包含!<>=&"'特殊字符。 export_images 否 Boolean 发布时是否导出图片到版本输出目录。可选值如下: true:导出图片到版本输出目录 false:不导出图片到版本输出目录(默认值) remove_sample_usage 否 Boolean 发布时是否
描述 add_sample_count Integer 处理后新增的图片数量。 create_time Long 数据处理任务的创建时间。 deleted_sample_count Integer 处理后删除的图片数量。 description String 数据处理任务的版本描述。