检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
同时使用。 --use-v2-block-manager：vllm启动时使用V2版本的BlockSpaceManger来管理KVCache索引，如果不使用该功能，则无需配置。注意：如果使用投机推理功能，必须开启此参数。 --served-model-name：vllm服务后台id。
/pytorch_to_onnx_models" 静态shape模型转换 转换静态shape模型需要在模型转换阶段固定模型的输入shape，也就是说每个输入shape是唯一的。静态shape转换主要包括两种场景： 第一种是待转换onnx模型的输入本身已经是静态shape，此时不需要在转换时指定输入shape也
me”。 order 否 String 排序方式，支持“asc”和“desc”，默认为“asc”。 offset 否 Integer 起始索引，默认为“0”。 limit 否 Integer 限制本次返回的结果数据条数，取值范围(0,∞)，默认值为“0”，返回全部。 workspace_id
修改dockerfile 修改build_image.sh内容，将'ENTRYPOINT ["/home/mind/model/run_vllm.sh"]'修改为'ENTRYPOINT sh /home/mind/model/run_vllm.sh'。 图4 修改build_image.sh 执行build_image
修改dockerfile 修改build_image.sh内容，将'ENTRYPOINT ["/home/mind/model/run_vllm.sh"]'修改为'ENTRYPOINT sh /home/mind/model/run_vllm.sh'。 图4 修改build_image.sh 执行build_image
Integer 最后修改时间，UTC。如用户未修改过该资源配额,则该值默认为该工作空间的创建时间。 resource String 资源的唯一标识。 quota Integer 当前配额值。配额值为-1代表不限制配额。 min_quota Integer 配额允许设置的最小值。 name_cn
ncoder模型。 数据类型不匹配问题如何处理？ 报错“data type not equal”时，按照堆栈信息，将对应的行数的数据类型修改为匹配的类型。 图1 报错信息 处理该问题时，pipeline_onnx_stable_diffusion_img2img_mslite.py文件的第454行修改如下：
将“modelarts-ascend/examples/AIGC/stable_diffusion/onnx_pipeline.py”文件中的“onnx_model_path”改为步骤6中下载的onnx_models地址“/home_host/work/runwayml/onnx_models”。执行推理脚本进行测试
path) 注释掉。 修改data文件夹下的build.py文件，把第112行：prefix = 'ILSVRC2011fall_whole'，改为prefix = 'ILSVRC2021winner21k_whole'。 在Swin-Transformer目录下创建requirements
import_origin 否 String 数据来源。可选值如下： obs：OBS桶（默认值） dws：GaussDB(DWS)服务 dli：DLI服务 rds：RDS服务 mrs：MRS服务 inference：推理服务 import_path 是 String 导入的OBS路径或manifest路径。
Integer 最后修改时间，UTC。如用户未修改过该资源配额,则该值默认为该工作空间的创建时间。 resource String 资源的唯一标识。 quota Integer 当前配额值。配额值为-1代表不限制配额。 min_quota Integer 配额允许设置的最小值。 name_cn
m/ 修改build_image.sh内容，将'ENTRYPOINT ["/home/mind/model/run_vllm.sh"]'修改为'ENTRYPOINT sh /home/mind/model/run_vllm.sh'。 图3 修改build_image.sh 执行build_image
修改“requirements.txt”中的onnx版本，改为“onnx>=1.12.0”。 将“yolox/data/datasets/coco.py”第59行的“data_dir = os.path.join(get_yolox_datadir(), "COCO")”改为“data_dir = '/home/ma-user/coco'”。
训练时，需要修改 install.sh 脚本中的 transformers 的版本。 由默认 transformers==4.45.0 修改为：transformers==4.44.2 为了避免因使用不同版本的 transformers 库进行训练和推理而导致冲突的问题，建议用户
训练时，需要修改 install.sh 脚本中的 transformers 的版本。 由默认 transformers==4.45.0 修改为：transformers==4.44.2 为了避免因使用不同版本的 transformers 库进行训练和推理而导致冲突的问题，建议用户
响应Body参数 参数 参数类型 描述 created_at String 创建时间。 subscription_id String 订阅ID，唯一性标识。创建订阅时，后台自动生成。 topic_urns Array of strings 订阅的主题。 entity String 订阅的主体。
训练时，需要修改 install.sh 脚本中的 transformers 的版本。 由默认 transformers==4.45.0 修改为：transformers==4.44.2 为了避免因使用不同版本的 transformers 库进行训练和推理而导致冲突的问题，建议用户
修改在线服务配置 对于已部署的服务，您可以修改服务的基本信息以匹配业务变化，更换模型的版本号，实现服务升级。 您可以通过如下两种方式修改服务的基本信息： 方式一：通过服务管理页面修改服务信息 方式二：通过服务详情页面修改服务信息 前提条件 服务已部署成功，“部署中”的服务不支持修改服务信息进行升级。
修改批量服务配置 对于已部署的服务，您可以修改服务的基本信息以匹配业务变化，更换模型的版本号，实现服务升级。 您可以通过如下两种方式修改服务的基本信息： 方式一：通过服务管理页面修改服务信息 方式二：通过服务详情页面修改服务信息 前提条件 服务已部署成功，“部署中”的服务不支持修改服务信息进行升级。
import cv2 cv2.imread('obs://bucket_name/xxx.jpg', cv2.IMREAD_COLOR) 修改为如下代码： 1 2 3 4 import cv2 import numpy as np import moxing as mox img =
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
