检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建连接器 连接器用来快速连接到用户名下的各类资源服务。 前提条件 计算节点处于运行中,且所在空间信息的“认证状态”为“已认证”。 建议使用者提前了解MapReduce服务(MRS Hive)集群。 “连接器类型”选择MapReduce服务(MRS Hive)时,选择的MRS集群
获取连接器列表 功能介绍 本接口用于获取连接器信息。 调用方法 请参见如何调用API。 URI GET /v1/agents/connectors 表1 Query参数 参数 是否必选 参数类型 描述 offset 是 Integer 起始位置。 当前页面数,默认为0,取值0-2147483647。
Content-Type 消息体的类型(格式),默认取值为“application/json”。 如果请求消息体中含有中文字符,则还需要通过charset=utf8指定中文字符集。 是 application/json;charset=utf8 Content-Length 请求body长度,单位为Byte。
创建数据预处理作业 数据预处理是训练机器学习模型的一个重要前置步骤,其主要是通过转换函数将特征数据转换成更加适合算法模型的特征数据过程。TICS特征预处理功能能够实现对数据的探索、分析、规整以及转换,以达到数据在训练模型中可使用、可实用,在TICS平台内完成数据处理到建模的闭环。
DatasetListVo objects 数据集列表 表4 DatasetListVo 参数 参数类型 描述 id String 数据集id。 支持数字,英文字母,下划线,长度32。 name String 数据集名称 connector_name String 连接器名称 data_source
数据。 “评估型作业”只能选择当前计算节点的一个数据集。 表1 作业参数说明 参数名 参数描述 作业名称 用户自定义作业的名称,只能包含英文字母、数字、中文、“-”、“_”、“.”,且长度为1~128个字符 描述 作业的详细描述信息。 作业类型 用户下拉选择所需作业类型即可。 运行环境
是否必选 参数类型 描述 agent_id 是 String 可信计算节点id。 支持数字,英文字母,下划线,长度32。 notice_id 是 String 通知记录id。 支持数字,英文字母,下划线,长度32。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述
请求Body参数 参数 是否必选 参数类型 描述 user_name 是 String 部署可信计算节点时设置的用户名,支持英文、数字、中文字符和特殊字符,但不能包含/:*?"<>|等特殊字符,长度1-128 password 是 String 用户密码,部署可信计算节点时设置的密码
但是一个作业必须要选两个及两个以上的数据集才能做训练。 表1 作业参数说明 参数名 参数描述 作业名称 用户自定义作业的名称,只能包含英文字母、数字、中文、“-”、“_”、“.”,且长度为1~128个字符 描述 作业的详细描述信息。 作业类型 用户下拉选择所需作业类型即可。 运行环境
请求消息体通常以结构化格式(如JSON或XML)发出,与请求消息头中Content-Type对应,传递除请求消息头之外的内容。若请求消息体中的参数支持中文,则中文字符必须为UTF-8编码。 每个接口的请求消息体内容不同,也并不是每个接口都需要有请求消息体(或者说消息体为空),GET、DELETE操作类
执行作业时,提示“启动新任务失败,服务器任务队列超出缓存长度”,如何解决? TICS执行作业时,如果当前环境资源不足,会将任务缓存入队列中。任务队列长度默认为10。当空间缓存的任务超出长度时,界面会提示报错。 您可以通过TICS空间页查看是否有作业等待中或正在运行,等待任务运行完成或者停止其他任务后,再执行作业。
数据管理概述 TICS的数据管理由“连接器管理”和“数据管理”两部分来实现: 连接器是可信智能计算服务提供的一项访问参与方数据资源的功能。参与方填写连接信息来创建对应类型的连接器,并通过这些连接器访问到各类型资源的结构化信息。当前支持MRS服务(Hive)、本地数据集、RDS数据
约束与限制 使用TICS前,您需要认真阅读并了解以下使用限制。 浏览器限制 您需要使用支持的浏览器版本登录TICS。 表1 浏览器兼容性 浏览器 建议版本 Google Chrome 120,119,118
请求方式为GET或POST 由查询条件可以查出对应一条或多条数据 当配置隐匿查询作业的外部数据源时,接口需支持模糊查询id经过sha256转换后的值。 类似MySQL中的如下语句,其中x为查询的具体值。 select * from table where SHA2(id,256)
创建作业 前提条件 空间组建完成,参考组建空间。 空间成员完成计算节点部署,配置参数时选择挂载方式和数据目录,参考部署计算节点。 空间成员在计算节点中完成数据发布,参考发布数据。 约束限制 避免作业名重复。 支持本地连接器配置的CSV类型数据集。 支持DWS连接器配置的DWS数据集。
步骤6:空间成员发布数据 发布数据 空间成员登录TICS控制台。进入TICS控制台后,单击页面左侧“计算节点管理”,进入“计算节点管理”页面。 在“计算节点管理”页,查找需要发布数据的计算节点名称,单击“计算节点名称”进入计算节点详情页。 图1 选择计算节点 在“计算节点详情”页
发布数据 前提条件 计算节点已创建完成,创建方法请参考部署计算节点。 发布数据 发布数据前,若不存在已创建好的连接器和数据,需先执行创建连接器和创建数据集操作。 若待发布的数据已经创建完成,参照以下流程进入“数据管理”页,执行以下操作即可。 用户登录TICS控制台。 进入TICS
计算节点API应用示例 本节通过curl 方式调用TICS API,端到端执行分析型作业为例,介绍使用TICS API的基本流程。 获取用户token 获取用户的token,因为在后续的请求中需要将token放到请求消息头中作为认证。 获取可信节点详情 获取调用后续接口参数信息,例如可信节点id。
参考:获取认证信息 在使用TICS时,您可能需要获取访问密钥、项目ID等信息,获取方式如下: 获取访问密钥 您可以通过如下方式获取访问密钥。 登录控制台,在用户名下拉列表中选择“我的凭证”。 进入“我的凭证”页面,选择“访问密钥 > 新增访问密钥”,如图1所示。 图1 单击新增访问密钥
参考:获取认证信息 在使用TICS时,您可能需要获取访问密钥、项目ID等信息,获取方式如下: 获取访问密钥 您可以通过如下方式获取访问密钥。 登录控制台,在用户名下拉列表中选择“我的凭证”。 进入“我的凭证”页面,选择“访问密钥 > 新增访问密钥”,如图1所示。 图1 单击新增访问密钥