云服务器内容精选

  • 模型加密操作 下载加密工具:crypto_tool,并拷贝到设备系统的“/tmp”目录下,赋予执行权限: chmod +x crypto_tool 使用方法请参见工具的帮助信息: ./crypto_tool./crypto_tool encode --model_file plainModelfile --cipher_file cipherModelfile 其中“model_file”为待加密模型文件,“cipher_file”为加密之后的模型文件。
  • 响应示例 状态码: 400 { "error_code" : "EG.00014000", "error_msg" : "Bad request"} 状态码: 401 { "error_code" : "EG.00014010", "error_msg" : "Incorrect token or token resolution failed"} 状态码: 403 { "error_code" : "EG.00014030", "error_msg" : "No permissions to request this method"} 状态码: 404 { "error_code" : "EG.00014040", "error_msg" : "Not request resource found"} 状态码: 500 { "error_code" : "EG.00015000", "error_msg" : "Internal Server Error"}
  • 响应参数 状态码: 200 表4 响应Body参数 参数 参数类型 描述 total Integer 总数 最小值:0 最大值:100 size Integer 本页数量 最小值:0 最大值:100 items Array of CustomizeSchemaItemInfo objects 对象列表 数组长度:0 - 100 表5 CustomizeSchemaItemInfo 参数 参数类型 描述 id String 事件模型ID name String 事件模型名称,租户下唯一 description String 事件模型描述 compatibility String 事件模型兼容性 枚举值: NONE provider_type String 提供方类型,OFFICIAL:官方事件源;CUSTOM:自定义事件源 枚举值: OFFICIAL CUSTOM format String 事件模型格式 number_of_versions Integer 事件模型版本数 event_type_id String 事件类型ID event_type_name String 事件类型名称 event_source_id String 事件源ID event_source_name String 事件源名称 event_source_label String 事件源标签 created_time String 创建时间 updated_time String 更新时间 状态码: 400 表6 响应Body参数 参数 参数类型 描述 error_code String 错误码 最小长度:1 最大长度:128 error_msg String 错误消息 最小长度:1 最大长度:512 error_details String 具体错误消息 最小长度:1 最大长度:1024 request_id String 请求处理ID 最小长度:1 最大长度:128 状态码: 401 表7 响应Body参数 参数 参数类型 描述 error_code String 错误码 最小长度:1 最大长度:128 error_msg String 错误消息 最小长度:1 最大长度:512 error_details String 具体错误消息 最小长度:1 最大长度:1024 request_id String 请求处理ID 最小长度:1 最大长度:128 状态码: 403 表8 响应Body参数 参数 参数类型 描述 error_code String 错误码 最小长度:1 最大长度:128 error_msg String 错误消息 最小长度:1 最大长度:512 error_details String 具体错误消息 最小长度:1 最大长度:1024 request_id String 请求处理ID 最小长度:1 最大长度:128 状态码: 404 表9 响应Body参数 参数 参数类型 描述 error_code String 错误码 最小长度:1 最大长度:128 error_msg String 错误消息 最小长度:1 最大长度:512 error_details String 具体错误消息 最小长度:1 最大长度:1024 request_id String 请求处理ID 最小长度:1 最大长度:128 状态码: 500 表10 响应Body参数 参数 参数类型 描述 error_code String 错误码 最小长度:1 最大长度:128 error_msg String 错误消息 最小长度:1 最大长度:512 error_details String 具体错误消息 最小长度:1 最大长度:1024 request_id String 请求处理ID 最小长度:1 最大长度:128
  • URI GET /v1/{project_id}/schemas 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 租户项目ID 表2 Query参数 参数 是否必选 参数类型 描述 offset 否 Integer 偏移量,表示从此偏移量开始查询,偏移量不能小于0 最小值:0 最大值:100 缺省值:0 limit 否 Integer 每页显示的条目数量,不能小于1或大于1000 最小值:1 最大值:1000 缺省值:15 sort 否 String 指定查询排序 缺省值:created_time:DESC provider_type 否 String 指定查询提供方的类型 枚举值: OFFICIAL CUSTOM PARTNER name 否 String 指定查询的事件模型名称,精准匹配 fuzzy_name 否 String 指定查询的事件模型名称,模糊匹配
  • 发布推理服务 模型训练服务支持一键发布在线推理服务。用户基于成熟的模型包,创建推理服务,直接在线调用服务得到推理结果。操作步骤如下。 单击模型包“操作”列的,弹出“发布推理服务”对话框,如图1所示。 图1 推理服务 配置对话框参数如表1所示。 表1 创建推理服务参数配置 参数名称 参数描述 模型包名称 发布成推理服务的模型包名称。 版本 推理服务的版本。 版本建议格式为“xx.xx.0”,其中xx为0-99的整数。 是否自动停止 是否开启推理服务自动停止,如果开启,需要设置自动停止的时间,开启了自动停止的推理服务将会在设置时间后停止运行。 计算节点规格 计算节点资源,包括CPU和GPU。 用户可以单击选定计算节点资源,并在“计算节点个数”中配置计算节点资源的个数。 计算节点个数 计算节点的个数。 1代表单节点计算 2代表分布式计算,开发者需要编写相应的调用代码。可使用内置的MoXing分布式训练加速框架进行训练,训练算法需要符合MoXing程序结构。可参考如下文档:https://github.com/huaweicloud/ModelArts-Lab/tree/master/docs/moxing_api_doc 描述 推理服务描述信息。 环境变量 用户可以在训练算法编辑界面中代码目录下predict文件夹中的predict.py文件中编辑推理算法。在创建推理服务的界面中配置环境变量的参数值。 变量名:环境变量的名称 变量值:环境变量的取值 增加:新增环境变量 :删除环境变量 :单击可隐藏变量值的真实数据。 单击“确定”,发布推理服务。 :发布服务成功,单击图标可以跳转至推理服务的快速验证界面,用户可在此界面上对当前发布的推理服务效果进行验证。 :发布服务失败,可重新发布。 父主题: 模型管理
  • 问题现象 通过API接口查询模型详情,model_name返回值出现乱码。例如model_name为query_vec_recall_model,但是api接口返回结果是query_vec_recall_model_b。 [2022/08/12 00:03:25 GMT+0800][INFO]Execute user name is xxx. user id is 04ef6da71400125321f15c01f1d1xxxx, job id is 6ABxxx [2022/08/12 00:03:25 GMT+0800][INFO]Request url is https://modelarts.xxx.xxx.com/v1/88exxxta/models?model_name=query_vec_recall_model [2022/08/12 00:03:25 GMT+0800][INFO]Request query param is nul [2022/08/12 00:03:25 GMT+0800][INFO]Request method is GET [2022/08/12 00:03:25 GMT+0800][INFO]Request header is {REST_API_MARK=REST API MARK, User-Agent=Dayu} [2022/08/12 00:03:26 GMT+0800][INFO]Response body: {"count":3"total_count":0"models":[{"model id":"ca12cbdb-e7eb-4084-9ea3-36c0bd6axxxx","model name":"query_vec_recall_model_b","model_version":"0.0.1","model_type":"TensorFlow"......
  • 使用说明 任何实体均可与xDM-F元模型建立关系。 单个数据模型(包括数据实体、关系实体和接口模型)下的属性数量不允许超过1664个。如果应用的数据库类型为mysql,则单个数据模型(包括数据实体、关系实体和接口模型)下,其属性总长度不允许超过16000个字符。 创建数据模型时,该模型名称不能和XDM应用中的模型名称相同。 如果数据实体与抽象模型建立关系实体,该抽象模型的所有子实体模型均建立或继承了关系。 如果数据实体与存在扩展子模型的数据实体建立关系实体,该数据实体的所有扩展子模型均继承关系实体。 如果数据实体与接口模型建立关系实体,引用该接口模型的所有数据实体均建立了关系(接口模型不能直接作为父模型被其他实体模型继承,需先在功能列表中添加)。
  • 接口模型 xDM-F内置了多种功能,在创建数据实体/关系实体时,不仅自具备从xDM-F继承的基本功能能力,还可根据实际业务需求勾选xDM-F提供的可选功能,每个功能会继承一个或者多个属性。每勾选一个功能,该实体会自动生成相应功能继承的一个或者多个属性。当xDM-F内置的功能无法满足您实际业务需求时,可通过接口模型进行定义。自定义的接口模型将作为自定义功能,在创建数据实体时,被数据实体通过勾选自定义功能的方式被继承和使用。 在已经确定的应用数据模型结构上,需要对具有相似功能、相似结构、相同属性的数据模型进行归一化处理,可通过接口模型定义这些相似功能、相似结构和相同属性。为这些数据模型提供了标准接口,降低参数的重复性,方便管理模型属性。 例如机械产品中,各部件间有一部分是通过销、铆钉、螺栓等常用标准件直接连接,有一部分是通过联轴器、减速器等部件间接连接。尽管这些常用的零部件大多都已经实现系列化或标准化,但这些零部件易损坏,产品在多次更换过程中需要反复操作和记录。您可以分别创建包含这些具有相似功能的零部件接口模型,然后在创建数据实体时,勾选对应接口模型即可继承该接口模型的属性和关系。
  • 关系实体 关系实体用于描述两个或更多数据实体相互如何关联,是xDM-F原子接口的承载体之一。 基于xDM-F支持的数据关系,提供如下关系类型: 表3 元模型关系 类型 说明 1:N组合关系 又称“参考关系”,主要用于为对象之间建立1:N或主外键关系,可分为: 组合关系:1:N组合关系,即整体和部分的关系。例如公司和部门,如果公司不存在了,部门也不存在了。 非组合关系:1:N聚合关系,即普通的1:N参考关系或主外键关系。例如部门和员工,一个部门有多个员工。 在创建属性时,将属性的“类型”定义为“参考对象”,则属性对应的数据模型具有参考关系。 适用于传统主外键数据的关联。例如,一个部门可以有多个员工,它们之间为一对多聚合关系;公司是部门的父项,部门随着公司而存在,它们之间为一对多组合关系。 说明: 仅支持“模型类型”为“实体模型”的单实体定义组合关系的参考对象属性,“模型类型”为“抽象模型”的单实体、M-V模型实体和关系实体仅支持定义非组合关系的参考对象属性。 1:N聚合关系 M:N关系 即多对多关系,用于为数据实体/接口模型建立M:N关系。 创建关系实体时,“关系类型”为“多对多”的关系实体均具有此关系能力。可为应用运行态提供:创建/删除关系实体实例,查询关系实体,获取关联实体/被关联实体清单等操作。 适用于为不同数据实体/接口模型建立多对多关系。例如,在汽车电器相关的零件开发中,工程师和零件开发为多对多关系。一个工程师可进行多个零件开发,一个零件可由多个工程师进行开发。 M:xN关系 又称“单边不确定关系”,用于为一边不确定的数据实体/接口模型建立M:N关系,不确定的数据实体或接口模型(目标端)默认为基类抽象模型“basicObject”。 创建关系实体时,“关系类型”为“单边不确定”的关系实体均具有此关系能力。可为应用运行态提供:创建/删除关系实体实例,查询关系实体,查询目标端对象等操作。 适用于基础数据与业务数据的关联。例如,标签数据与业务数据的关联。标签可给任何对象打标签,在创建实例时确定打标签的目标端对象。 UsageLink使用关系 又称“多叉树关系”,适用于实现复杂的数据结构的存储,高效地查找数据,方便管理节点数据的场景。例如,部件和部件之间的使用和被使用关系。一辆汽车有四个轮子,汽车和轮胎都是部件,创建一个关系实体承载汽车和轮胎的使用关系,并在关系实体上定义一个“使用数量”属性用于标识一辆汽车使用了四个轮胎。 自循环树形关系 又称“树形结构”,是数据对象之间存在着“一对多”的树形关系的数据结构,适用于数据间上下级的关联。例如,企业的组织结构、软件应用的结构、工作计划、项目管理等。 创建数据实体/关系实体时,通过勾选xDM-F内置的“树形结构”、“分类管理”、“文件夹管理”等能力实现。
  • 数据实体 实体指现实世界中客观存在的并可以相互区分的对象或事物,可以是具体的人、事或物,也可以是抽象的概念或联系。这些独立事物个体的特性称为实体属性,每个实体都具有多个属性。在xDM-F中,这些独立的事物个体都可以看做是数据实体。数据实体是xDM-F原子接口的承载体之一,用于定义数据对象的基本信息、业务属性以及配置所需的功能(如基础数据服务、树形结构、生命周期管理等)。 数据实体按元模型类型的维度分为如表1所示类型。 表1 元模型实体 类型 说明 独立实体 又称“单实体”,适用于关系上不依附、不隶属,单独存在的业务对象。例如,企业的组织架构、部门、机房等。 创建数据实体时,“父模型”为“BusinessObject”或“BasicObject”的数据实体均为单实体。 多版本实体 又称“Master-Version(M-V)模型实体”,适用于只对同一业务对象进行局部的改进,或者需要对业务对象的历史演变过程进行记录和维护。例如,研发过程的技术文档、部件等业务对象会不断修改,需要能够随时查看历史版本数据及修改记录。 创建数据实体时,“父模型”为“VersionObject”的数据实体均为M-V模型实体。
  • 执行结果 索引的执行结果主要分为:初始态、执行中、待创建、成功和失败。 表1 执行结果 名称 说明 初始态 表示索引定义完成,待系统调用执行接口,将索引添加至应用的数据库中。 执行中 表示索引规则正在应用的数据库中执行,待返回结果。 待创建 表示索引规则未提交/应用上不存在此模型/索引字段在表中不存在,请联系运维人员处理。 成功 表示索引在应用的数据库中创建成功。 失败 表示索引在应用的数据库中创建失败,请联系运维人员处理。
  • 响应参数 状态码: 400 表7 响应Body参数 参数 参数类型 描述 error_code String 错误码 最小长度:8 最大长度:36 error_msg String 错误描述 最小长度:2 最大长度:512 状态码: 500 表8 响应Body参数 参数 参数类型 描述 error_code String 错误码 最小长度:8 最大长度:36 error_msg String 错误描述 最小长度:2 最大长度:512
  • 请求示例 /v1/111/applications/222/uni-search/nlp-models { "name" : "pangu_38b", "detail" : "pangu_38b", "type" : "nlp", "endpoint" : "http://10.0.0.169:31010", "extend_config" : { "deployment_id" : "123", "iam_info" : { "iam_enabled" : false, "agency_enabled" : false } } }
  • 常见问题 模型文件目录下不能出现dockerfile文件; “查看构建日志”中显示“Not only a Dockerfile in your OBS path, please make sure, The dockerfile list”,表示dockerfile文件目录有问题,模型文件目录下不能出现dockerfile文件,需要去掉模型文件目录下存在dockerfile文件。 图2 构建日志:dockerfile文件目录有问题 pip软件包版本不匹配,需要修改为日志中打印的存在的版本。 图3 pip版本不匹配 构建日志中出现报错:“exec /usr/bin/sh: exec format error”。 这种报错一般是因为所用镜像系统引擎和构建镜像的系统引擎不一致引起的,例如使用的是x86的镜像却标记的是arm的系统架构。 可以通过查看模型详情看到配置的系统运行架构。基础镜像的系统架构详情可以参考推理基础镜像列表。
  • 问题定位和处理 创建模型失败有两种场景:创建模型时直接报错或者是调用API报错和创建模型任务下发成功,但最终模型创建失败。 创建模型时直接报错或者是调用API报错。一般都是输入参数不合法导致的。您可以根据提示信息进行排查修改即可。 创建模型任务下发成功,但最终模型创建失败。需要从以下几个方面进行排查: 在模型详情页面,查看“事件”页签中的事件信息。根据事件信息分析模型失败原因,进行处理。 如果模型状态为“构建失败”,可以在模型详情页面,查看“事件”页签中的“查看构建日志”。构建日志中有对应的构建镜像失败的详细原因,根据构建失败的原因进行排查处理。 图1 查看构建日志