检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
毫秒)。 retries 参数 支持,但是参数名改为exception.retries Kafka默认设置为0,DIS默认设置为8。 出现网络/服务端异常的重试次数,尽量保证数据上传成功 其他参数 参数 不支持 - 父主题: 使用Kafka Adapter上传与下载数据
dli_destination_descriptor 否 DliDestinationDescriptorRequest object 转储目的地为DLI的参数列表。 表4 DliDestinationDescriptorRequest 参数 是否必选 参数类型 描述 task_name 是 String
gion对应的项目ID、账号ID和用户ID。 注册并登录管理控制台。 在用户名的下拉列表中单击“我的凭证”。 在“API凭证”页面,查看账号名和账号ID、IAM用户名和IAM用户ID,在项目列表中查看项目ID。 获取endpoint 终端节点(Endpoint)即调用API的请求
值)。 响应参数 状态码: 200 表3 响应Body参数 参数 参数类型 描述 tags Array of Tag objects 标签列表。 表4 Tag 参数 参数类型 描述 key String 键。 不能为空。 对于同一资源键值唯一。 字符集:A-Z,a-z , 0-9
0及以上版本。执行如下命令查看java版本。 java -version 检查DIS通道 使用注册账户登录DIS控制台。 单击管理控制台左上角的,选择区域和项目。 在左侧列表栏中选择“通道管理”。 确认有通道用于数据上传且通道状态为“运行中”。 检查认证信息 检查AK/SK AK/SK (Access Key ID/Secret
事件是租户通道状态发生变化的记录。它可以是由用户操作触发的(比如审计事件),也有可能是通道状态变化引起的(比如转储任务异常或转储任务恢复)。以下为当前DIS支持的事件和事件类别列表。 下表显示了事件源类型为通道的事件。 表1 事件源类型为通道的事件 事件源类型 事件级别 事件 通道 警告 流控受限 通道 警告 通道自动扩缩容成功
mrs_destination_descriptor 否 MRSDestinationDescriptorRequest object 转储目的地为MRS的参数列表。 表4 MRSDestinationDescriptorRequest 参数 是否必选 参数类型 描述 task_name 是 String
"xxxxxxxxxxxxxxxxxx" } } } } 获取Token后,再调用其他接口时(以数据开发组件的“查询连接列表”接口为例),您需要在请求消息头中添加“X-Auth-Token”,其值即为Token。例如Token值为“ABCDEFJ....”,则调用接口时将“X-Auth-Token:
毫秒)。 retries 参数 支持,但是参数名改为exception.retries Kafka默认设置为0,DIS默认设置为8。 出现网络/服务端异常的重试次数,尽量保证数据上传成功 其他参数 参数 不支持 - 父主题: 使用Kafka Adapter上传与下载数据
入门实践 当您参考开通DIS、从DIS获取数据等一系列操作后,可以根据自身的业务需求使用DIS提供的一系列常用实践。 表1 常用最佳实践 实践 描述 案例 使用DIS实时分析车辆位置 数据接入服务(Data Ingestion Service,简称DIS)实时采集车辆位置数据并上
执行如下命令,使JDK配置生效。 source /etc/profile 检查DIS通道 使用注册账户登录DIS控制台。 单击管理控制台左上角的,选择区域和项目。 在左侧列表栏中选择“通道管理”。 确认有通道用于数据上传且通道状态为“运行中”。 检查认证信息 检查AK/SK AK/SK (Access Key ID/Secret
gion对应的项目ID、账号ID和用户ID。 注册并登录管理控制台。 在用户名的下拉列表中单击“我的凭证”。 在“API凭证”页面,查看账号名和账号ID、IAM用户名和IAM用户ID,在项目列表中查看项目ID。 获取endpoint 终端节点(Endpoint)即调用API的请求
dws_destination_descriptor 否 DWSDestinationDescriptorRequest object 转储目的地为DWS的参数列表。 表4 DWSDestinationDescriptorRequest 参数 是否必选 参数类型 描述 task_name 是 String
上传数据到被授权的通道时,必须配置此参数。 records 是 Array of PutRecordsRequestEntry objects 待上传的记录列表。 表4 PutRecordsRequestEntry 参数 是否必选 参数类型 描述 data 是 String 需要上传的数据。 上传
0。 最小值:1 最大值:1000 缺省值:100 start_partition_id 否 String 从该分区值开始返回分区列表,返回的分区列表不包括此分区。 checkpoint_type 是 String Checkpoint类型。 LAST_READ:在数据库中只记录序列号。
服务器成功处理了部分GET请求。 300 Multiple Choices 多种选择。请求的资源可包括多个位置,相应可返回一个资源特征与地址的列表用于用户终端(例如:浏览器)选择。 301 Moved Permanently 永久移动,请求的资源已被永久的移动到新的URI,返回信息会包括新的URI。
用户可以通过控制台查看通道的监控信息,支持按照App维度监控App在通道中消费的数据信息。 使用注册账户登录DIS控制台。 单击管理控制台左上角的,选择区域和项目。 在左侧列表栏中选择“通道管理”。 单击需要查看监控信息的通道名称,进入监控页面。 根据实际情况在“通道管理”页面选择“通道监控”或“分区监控”页签,
r 否 CloudtableDestinationDescriptorRequest object 转储目的地为CloudTable的参数列表。 表4 CloudtableDestinationDescriptorRequest 参数 是否必选 参数类型 描述 task_name
snappy gzip zip tags 否 Array of Tag objects 通道标签列表。 sys_tags 否 Array of SysTag objects 通道企业项目列表。 表4 CSVProperties 参数 是否必选 参数类型 描述 delimiter 否 String
已创建了源数据Schema的通道,若该通道下存在转储任务,则不允许修改已有的源数据Schema。 使用注册账户登录DIS控制台。 单击管理控制台左上角的,选择区域。 在左侧列表栏中选择通道管理。 单击通道名称。进入所选通道的管理页面。 单击“源数据类型”后的“查看已有源数据Schema”。 弹出源数据Schema文本框,单击,修改源数据Schema。