检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
具体如表1所示。 表1 支持的模型列表和权重获取地址 序号 模型名称 是否支持fp16/bf16推理 是否支持W4A16量化 是否支持W8A8量化 是否支持W8A16量化 是否支持 kv-cache-int8量化 开源权重获取地址 1 llama-7b √ √ √ √ √ https://huggingface
自定义规格”，设置小一些或者选择小规格的服务节点规格，当资源池节点可以容纳多个服务节点规格时，就可以部署多个服务。如果使用此方式进行部署推理，选择的规格务必满足模型的要求，当设置的规格过小，无法满足模型的最小推理要求时，则会出现部署失败或预测失败的情况。 图1 设置自定义规格 父主题：
号赋SWR权限，子账号从SWR Console界面看不到该镜像，需要主账号给子账号在SWR侧赋予SWR权限，使得子账号可以看到该SWR镜像地址，否则该镜像子账号不可使用。 该镜像不属于该租户（包括主账号和子账号），是其他人共享的public镜像，而这个镜像又被镜像所有者删除，导致
表10 AIProject定义结构说明 参数 是否必选 参数类型 描述 id 否 String AI项目ID，预留字段。 响应消息 响应参数如表11所示。 表11 响应参数 参数 参数类型 说明 id String 实例ID。 name String 实例名称。 description
将为用户提供一个可调用的API，此API为标准Restful API。您可以在服务详情页面，调用指南页签中查看API接口公网地址。 图1 API接口公网地址 约束限制 调用API访问在线服务时，对预测请求体大小和预测时间有限制： 请求体的大小不超过12MB，超过后请求会被拦截。
desc：递减排序（默认值） process_parameter 否 String 图像缩略设置，同OBS缩略图设置，详见OBS缩略图设置。如：image/resize,m_lfit,h_200表示等比缩放目标缩略图并设置高度为200像素。 search_conditions 否 String U
Step1 创建用户组并加入用户 主用户账号下面可以创建多个子账号，并对子账号的权限进行分组管理。此步骤介绍如何创建用户组、子账号、并将子账号加入用户组中。 主用户登录管理控制台，单击右上角用户名，在下拉框中选择“统一身份认证”，进入IAM服务。 图1 统一身份认证 创建用户组。
String 从指定Workflow工作流进行复制。通过复制来创建Workflow时必填。 gallery_subscription WorkflowGallerySubscription object 来自市场订阅的Workflow。 latest_execution ExecutionBrief
模型的端口没有配置，如您在自定义镜像配置文件中修改了端口号，需要在部署模型时，配置对应的端口号，使新的模型重新部署服务。 如何修改默认端口号，请参考使用自定义镜像创建在线服务，如何修改默认端口。 父主题： 服务部署
you can also easily set the TorchScript flag model = BertModel.from_pretrained("bert-base-uncased", torchscript=True) # Creating the trace traced_model
上传OBS文件 异常处理 提示文件上传失败，有以下三种常见场景。 异常场景1 图5 文件上传失败 可能原因： OBS路径没有设置为具体的文件路径，设置成了文件夹。 OBS中的文件设置了加密。请前往OBS控制台查看，确保该文件未加密。 OBS桶和Notebook不在同一个区域。请确保读取的OBS
导入表格数据集，数据库名字。 input 否 String 表格数据集，HDFS路径。例如/datasets/demo。 ip 否 String 用户GaussDB(DWS)集群的IP地址。 port 否 String 用户GaussDB(DWS)集群的端口。 queue_name 否 String
Turbo的连接状态信息。可选值如下： Active：SFS连通状态正常 Abnormal：SFS连通状态异常 ipAddr String SFS Turbo的访问地址。 状态码： 404 表13 响应Body参数 参数 参数类型 描述 error_code String ModelArts错误码。
String 创建时间。 name 否 String 执行记录名称。 execution_id 否 String 工作流执行ID。 description 否 String 执行记录描述。 status 否 String 执行记录状态。 workspace_id 否 String 工作空间ID。
false：不支持预览 process_parameter 否 String 图像缩略设置，同OBS缩略图设置，详见OBS缩略图设置。如：image/resize,m_lfit,h_200表示等比缩放目标缩略图并设置高度为200像素。 sample_state 否 String 样本状态。可选样本状态如下：
百川和Llama系列模型只支持自定义权重。 自定义权重存储路径 当“权重设置与词表”选择“自定义权重”时，需要选择存放模型权重文件的OBS路径，必须选择到模型文件夹。单次上传本地文件到OBS的总大小不能超过5GB，详情请参见如何上传超过5GB的大对象。 权重校验 当“权重设置与词表”选择“自定义权重”时，需要选择是否开启权重文件校验。默认是开启的。
导入表格数据集，数据库名字。 input String 表格数据集，HDFS路径。例如/datasets/demo。 ip String 用户GaussDB(DWS)集群的IP地址。 port String 用户GaussDB(DWS)集群的端口。 queue_name String 表格数据集，DLI队列名。
分页列表的起始页，默认为0。 process_parameter 否 String 图像缩略设置，同OBS缩略图设置，详见OBS缩略图设置。如：image/resize,m_lfit,h_200表示等比缩放目标缩略图并设置高度为200像素。 sample_state 否 String 样本状态。可选样本状态如下：
协议： 使用WebSocket协议的方式访问在线服务：WebSocket使得客户端和服务器之间的数据交换变得更加简单，允许服务端主动向客户端推送数据。在WebSocket API中，浏览器和服务器只需要完成一次握手，两者之间就可以建立持久性的连接，并进行双向数据传输。 使用Server-Sent
ModelArts上进行训练比本地训练多了一步OBS和容器环境的数据迁移工作。 增加了和OBS交互工作的整个训练流程如下： 建议使用OBSutil作为和OBS交互的工具，如何在本机安装obsutil可以参考obsutil安装和配置。 训练数据、代码、模型下载。（本地使用硬盘挂载或者docker cp，在ModelArts上使用OBSutil）
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
