检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
CloudTable连接 介绍 通过CloudTable连接,可以对CloudTable服务抽取、加载数据。 连接样例 本示例为连接样例消息体。在实际使用中,AK(accessKey)和SK(securityKey)建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。 {
用户Token,使用Token认证时必选。通过调用IAM服务的“获取用户Token”接口获取响应消息头中X-Subject-Token的值。 workspace 是 String 工作空间ID,获取方法请参见实例ID和工作空间ID。 Dlm-Type 否 String 数据服务的版本类型,指定SHARED共享版或EXCLUSIVE专享版。
审核中心通知列表消息处理,或在应用中解绑与API的绑定关系,API就会直接下线;否则会以待下线状态,等待达到下线时间,再强制下线。 删除API 在DataArts Studio控制台首页,选择对应工作空间的“数据服务”模块,进入数据服务页面。 在左侧导航栏选择服务版本(例如:专享版),进入总览页。
URL地址。 云服务提供的URL地址。 method 是 String HTTP方法: GET POST PUT DELETE headers 否 String HTTP消息头,每个消息头的格式为<消息头名称>=<值>,多个消息头之间使用换行符分割。 body 否 String 消息体。 表25
URL地址 云服务提供的URL地址。 method 是 String HTTP方法: GET POST PUT DELETE headers 否 String HTTP消息头,每个消息头的格式为<消息头名称>=<值>,多个消息头之间使用换行符分割。 body 否 String 消息体 表25
用户Token,使用Token认证时必选。通过调用IAM服务的“获取用户Token”接口获取响应消息头中X-Subject-Token的值。 workspace 是 String 工作空间ID,获取方法请参见实例ID和工作空间ID。 Dlm-Type 否 String 数据服务的版本类型,指定SHARED共享版或EXCLUSIVE专享版。
请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String IAM Token,通过调用IAM服务获取用户Token接口获取(响应消息头中X-Subject-Token的值) 使用Token认证时必选。 workspace 是 String 工作空间ID
设置通知记录数据存储的位置。 开关 是 是否开启通知,默认开启。 单击“确定”。 数据开发模块的通知管理功能是通过消息通知服务来发送消息,消息通知服务的使用可能会产生费用,具体请咨询消息通知服务。 通知配置完成后,您可以在通知的“操作”列进行如下操作。 单击“编辑”,打开“通知配置”页面,可以
Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Studio控制台首页,选择对应工作空间的“数据服务”模块,进入数据服务页面。 在左侧导航栏选择服务版本(例如:专享版),进入总览页。 获取待调用API的调用地址、请求方法和入参信息。 在左侧导航栏中进入API管理
用户Token,使用Token认证时必选。通过调用IAM服务的“获取用户Token”接口获取响应消息头中X-Subject-Token的值。 workspace 是 String 工作空间ID,获取方法请参见实例ID和工作空间ID。 Dlm-Type 否 String 数据服务的版本类型,指定SHARED共享版或EXCLUSIVE专享版。
IAM认证:接口只允许云用户访问。DataArts Studio服务给接口发送消息的时候,会在请求消息头中带上当前用户的认证信息。 无认证:接口不需要身份认证 用户名密码认证:接口需要访问者输入账号和密码信息。DataArts Studio服务发送消息的时候,会在请求消息头中带上Authorization字段。
用户Token,使用Token认证时必选。通过调用IAM服务的“获取用户Token”接口获取响应消息头中X-Subject-Token的值。 workspace 是 String 工作空间ID,获取方法请参见实例ID和工作空间ID。 Dlm-Type 否 String 数据服务的版本类型,指定SHARED共享版或EXCLUSIVE专享版。
步骤6:数据开发处理 DataArts Studio数据开发模块可管理多种大数据服务,提供一站式的大数据开发环境、全托管的大数据调度能力,极大降低用户使用大数据的门槛,帮助您快速构建大数据处理中心。 使用DataArts Studio数据开发,用户可进行数据管理、数据集成、脚本开
用户Token,使用Token认证时必选。通过调用IAM服务的“获取用户Token”接口获取响应消息头中X-Subject-Token的值。 workspace 是 String 工作空间ID,获取方法请参见实例ID和工作空间ID。 Dlm-Type 否 String 数据服务的版本类型,指定SHARED共享版或EXCLUSIVE专享版。
Client调用了MRS服务查询集群列表的API,然后执行Kafka Client发送消息。 使用场景:Kafka Client发送字符串消息,消息内容为集群列表中第一个集群的cluster Id。 关键配置:在Kafka Client中使用如下EL表达式获取Rest API返回消息体中的特定字段:#{JSONUtil
Client调用了MRS服务查询集群列表的API,然后执行Kafka Client发送消息。 使用场景:Kafka Client发送字符串消息,消息内容为集群列表中第一个集群的cluster Id。 关键配置:在Kafka Client中使用如下EL表达式获取Rest API返回消息体中的特定字段:#{JSONUtil
用户Token,使用Token认证时必选。通过调用IAM服务的“获取用户Token”接口获取响应消息头中X-Subject-Token的值。 workspace 是 String 工作空间ID,获取方法请参见实例ID和工作空间ID。 Dlm-Type 否 String 数据服务的版本类型,指定SHARED共享版或EXCLUSIVE专享版。
MRS Hive 用户具有MRS Hive连接的表的访问权限时,才能在字段映射时看到表。 MRS Hive连接适用于华为云上的MapReduce服务。MRS Hive的连接参数如表1所示。 当前暂不支持对接“Kerberos加密类型”为“aes256-sha2,aes128-sha2”
配置DIS源端参数 消息体中的数据是一条类似CSV格式的记录,可以支持多种分隔符。不支持二进制格式或其他格式的消息内容解析。 作业中源连接为DIS连接时,源端作业参数如所表1示。 表1 DIS作为源端时的作业参数 参数类型 参数 说明 取值样例 基本参数 DIS通道 DIS的通道名。
featureTag:将每一条数据都打tag标签。 startEndMark:默认是为false。设置为true时,写入消息前将会同步一个开始消息和结束的消息。 columnAsKey:指定写入数据key值,也可以通过指定字段值作为key,通过配置@{column1}--@{column2}。