检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
模型包结构介绍 创建模型时,如果是从OBS中导入元模型,则需要符合一定的模型包规范。 模型包规范适用于单模型场景,如果是多模型场景(例如含有多个模型文件)推荐使用自定义镜像方式。 ModelArts推理平台不支持的AI引擎,推荐使用自定义镜像方式。 请参考创建模型的自定义镜像规范
环境变量定义文件 环境变量定义文件是一个以“environment_variable=value”为形式,键值对构成的纯文本文件,其中“#”用于注释。该文件不支持多行值,但值可以引用系统中或文件中先前已定义的其他任何环境变量。有关更多信息,请参阅变量替换。环境变量定义文件可用于调
输出变量 输出变量可以理解为模块的返回值,通过关键字 "output" 进行声明。输出变量是一种对外公开某些信息的方法,既可以在根模块中运行 terraform apply/output 命令输出特定的值,又可以在子模块中将资源的属性值提供给父模块。 声明输出变量 按照约定,输出变量通常在名为
集,不支持启动主动学习和自动分组任务,支持预标注任务。 “智能标注”是指基于当前标注阶段的标签及图片学习训练,选中系统中已有的模型进行智能标注,快速完成剩余图片的标注操作。“智能标注”又包含“主动学习”和“预标注”两类。 “主动学习”表示系统将自动使用半监督学习、难例筛选等多种手
在线服务参数说明请参见部署模型为在线服务。修改在线服务还需要配置“最大无效实例数”设置并行升级的最大节点数,升级阶段节点无效。 修改在线服务参数时,可通过增加一个自定义的环境变量参数,服务即可自动迁移到新的资源池。 方式二:通过服务详情页面修改服务信息 登录ModelArts管理控制台,在左侧菜单栏中选择“模型部署”,进入目标服务类型管理页面。
)。例如: 图片、较小视频文件。 异步请求:单次推理,需要异步处理返回结果(约>60s)。例如: 实时视频推理、大视频文件。 创建时间 模型的创建时间。 描述 模型的描述。 操作 部署:将模型发布为在线服务、批量服务或边缘服务。 创建新版本:创建新的模型版本。参数配置除版本外,将
单击“预测”进行测试,预测完成后,右侧“预测结果”区域输出测试结果。如模型准确率不满足预期,可在“数据标注”页签中添加音频并进行标注,重新进行模型训练及模型部署。预测结果中的参数说明请参见表1。如果您对模型预测结果满意,可根据界面提示调用接口访问在线服务。 表1 预测结果中的参数说明
variable_id Integer 变量ID 状态码: 501 表6 响应Body参数 参数 参数类型 描述 - String response message 请求示例 修改全局变量,变量所属工程ID是1,变量名是varTest,变量类型是整数,变量值区间是从1到10。 /v1/p
变量 输入变量 输出变量 本地变量 父主题: 配置指南
访问在线服务支持的认证方式 访问在线服务支持的访问通道 访问在线服务支持的传输协议 父主题: 使用ModelArts Standard部署模型并推理预测
max-model-len。 表1 基于vLLM不同模型推理支持最小卡数和最大序列说明 序号 模型名 32GB显存 64GB显存 最小卡数 最大序列(K) max-model-len 最小卡数 最大序列(K) max-model-len 1 llama-7b 1 16 1 32 2
max-model-len。 表1 基于vLLM不同模型推理支持最小卡数和最大序列说明 序号 模型名 32GB显存 64GB显存 最小卡数 最大序列(K) max-model-len 最小卡数 最大序列(K) max-model-len 1 llama-7b 1 16 1 32 2
max-model-len。 表1 基于vLLM不同模型推理支持最小卡数和最大序列说明 序号 模型名 32GB显存 64GB显存 最小卡数 最大序列(K) max-model-len 最小卡数 最大序列(K) max-model-len 1 llama-7b 1 16 1 32 2
max-model-len。 表1 基于vLLM不同模型推理支持最小卡数和最大序列说明 序号 模型名 32GB显存 64GB显存 最小卡数 最大序列(K) max-model-len 最小卡数 最大序列(K) max-model-len 1 llama-7b 1 16 1 32 2
恢复归档或深度归档存储对象(Go SDK) 功能说明 如果要获取归档或深度归档存储对象的内容,需要先将对象恢复,然后再执行下载数据的操作。对象恢复后,会产生一个标准存储类型的对象副本,也就是说会同时存在标准存储类型的对象副本和归档或深度归档存储对象,在恢复对象的保存时间到期后标准存储类型的对象副本会自动删除。
3-5小时内恢复深度归档存储数据。 标准:可在3-5小时内恢复归档存储数据,5-12小时内恢复深度归档存储数据。 单击“确定”。 系统每天会在UTC 00:00点检查一次文件恢复情况,过期时间是根据最近一次系统检查时间开始计算的。 使用API 恢复归档存储或深度归档存储对象 使用SDK
单击“预测”进行测试,预测完成后,右侧“预测结果”区域输出测试结果。如模型准确率不满足预期,可在“数据标注”页签中添加数据并进行标注,重新进行模型训练及模型部署。预测结果中的参数说明请参见表1。如果您对模型预测结果满意,可根据界面提示调用接口访问在线服务。 表1 预测结果中的参数说明
列表中变量值的个数及长度必须和“templateId”对应模板内容中定义的变量个数及长度保持一致,例如“templateId”对应的模板内容有2个变量且变量长度分别为5和6,则此处需要设置2个变量值且内容长度分别小于等于5和6。 如模板内容为“您有${1}件快递请到${2}领取”时,该参数可填写为'["3"
务(OBS)中的元模型和容器镜像中的元模型,可对所有迭代和调试的模型进行统一管理。 约束与限制 自动学习项目中,在完成模型部署后,其生成的模型也将自动上传至模型列表中。但是自动学习生成的模型无法下载,只能用于部署上线。 创建模型、管理模型版本等功能目前是免费开放给所有用户,使用此功能不会产生费用。
删除全局变量 功能介绍 该API用于删除全局变量。 只有创建全局变量的用户才可以删除对应的变量。 调试 您可以在API Explorer中调试该接口。 URI URI格式 DELETE /v1.0/{project_id}/variables/{var_name} 参数说明 表1