-
下载数据之消费位移 - 数据接入服务 DIS
commit设定,true表示自动提交(默认)。 自动提交策略由消费者协调器(Coordinator)每隔${auto.commit.interval.ms}毫秒执行一次偏移量的提交;手动提交需要由客户端自己控制偏移量的提交。 自动提交 在创建一个消费者时,默认是自动提交偏移量,默认的提交间隔是5000ms。使用自动提交相关参数设置如下:
-
基本概念 - 数据接入服务 DIS
用户注册时的账号,账号对其所拥有的资源及云服务具有完全的访问权限,可以重置用户密码、分配用户权限等。由于账号是付费主体,为了确保账号安全,建议您不要直接使用账号进行日常管理工作,而是创建用户并使用他们进行日常管理工作。 用户 由账号在IAM中创建的用户,是云服务的使用人员,具有身份凭证(密码和访问密钥)。
-
DIS有哪些功能 - 数据接入服务 DIS
步复制数据,为您提供数据高可用性和数据持久性。 主要模块 DIS分为4个功能模块,各模块功能如下: 服务控制面 完成服务的开通、删除、配置操作,并将用户信息同步到数据面。 完成数据面资源的申请与自动部署。 服务数据面 接收用户发送数据的请求,对已鉴权的数据接收并存储。 接收用户获
-
使用标签过滤资源(通道等) - 数据接入服务 DIS
含10个key,每个key下面的value最多10个,结构体不能缺失,key不能为空或者空字符串。 tags_any 否 Array of Tags objects 返回结果包含该参数中任意一个标签对应的资源,该参数最多包含10个key,每个key下面的value最多10个,结构
-
自定义Flink Streaming作业 - 数据接入服务 DIS
”。选择解压至本地的huaweicloud-dis-flink-connector-demo目录,单击确认。 选择导入Maven工程,保持默认配置,一直单击下一步即可。 单击“New Window”,在新窗口打开此工程。 在pom.xml上单击右键,选择“Maven > Reimport”,重新引入maven依赖库。
-
添加DWS转储任务 - 数据接入服务 DIS
度为1~64个字符。 agency_name 是 String 在统一身份认证服务(IAM)中创建委托的名称,DIS需要获取IAM委托信息去访问您指定的资源。创建委托的参数设置如下:- 委托类型:云服务- 云服务:DIS- 持续时间:永久- “所属区域”为“全局服务”,“项目”为
-
配置DIS Logstash Plugin - 数据接入服务 DIS
Logstash Input配置项说明 配置项 是否必填 说明 默认值 stream 是 指定在DIS服务上创建的通道名称。 与DIS控制台“购买接入通道”时配置的“通道名称”取值一致。 ak 是 用户的Access Key。 获取方式请参见检查认证信息。 请根据实际情况配置 sk
-
下载流式数据 - 数据接入服务 DIS
为更好理解游标类型,您需要了解如下几个基本概念。 序列号(sequenceNumber),每个记录的唯一标识符。序列号由DIS在数据生产者调用PutRecord操作以添加数据到DIS数据通道时DIS服务自动分配的。同一分区键的序列号通常会随时间变化增加。PutRecords请求之间的时间段越长,序列号越大。
-
步骤1:开通DIS通道 - 数据接入服务 DIS
BLOB:存储在数据库管理系统中的一组二进制数据。“源数据类型”选择“BLOB”,则支持的“转储服务类型”为“OBS”、“MRS”。 JSON:一种开放的文件格式,以易读的文字为基础,用来传输由属性值或者序列性的值组成的数据对象。“源数据类型”选择“JSON”,则支持的“转储服务类型”为“OBS”、“MRS”、“DLI”和“DWS”。
-
步骤1:开通DIS通道 - 数据接入服务 DIS
BLOB:存储在数据库管理系统中的一组二进制数据。“源数据类型”选择“BLOB”,则支持的“转储服务类型”为“OBS”、“MRS”。 JSON:一种开放的文件格式,以易读的文字为基础,用来传输由属性值或者序列性的值组成的数据对象。“源数据类型”选择“JSON”,则支持的“转储服务类型”为“OBS”、“MRS”、“DLI”和“DWS”。
-
错误码 - 数据接入服务 DIS
already exists. 创建转储任务时,同一个通道下已存在同名的转储任务 请修改新创建转储任务的名称并重新创建。 400 DIS.4357 Exceeded transfer task quota. 单个通道仅允许同时存在5个转储任务,再创建新的转储任务会超出配额限制 请删除废弃的转储任务释放配额。
-
DIS服务端错误码 - 数据接入服务 DIS
Empty ServiceName header. 请求头里的签名信息Authorization字段中缺失服务名 请检查请求头里的Authorization字段中是否包含服务名dis。 441 DIS.4109 The Authorization header must contain
-
下载数据 - 数据接入服务 DIS
数据游标,需要先通过获取数据游标的接口获取。 取值范围:1~512个字符。 说明: 数据游标有效期为5分钟。 max_fetch_bytes 否 Integer 每个请求获取记录的最大字节数。 注意: 该值如果小于分区中单条记录的大小,会导致一直无法获取到记录。 请求参数 表3 请求Header参数
-
创建通道 - 数据接入服务 DIS
创建通道 功能介绍 本接口用于创建通道。 创建通道时,需指定通道类型(普通、高级)、分区数量。 一个账号默认最多可以创建10个高级通道分区和50个普通通道分区,可提交工单增加配额。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/streams
-
数据下载的消费模式 - 数据接入服务 DIS
[992787] subscribe 模式 用户指定通道名称即可,无需指定具体分区,服务端会根据消费者的数量变化或者通道扩缩容变化,触发group management机制,自动给每一个消费者分配分区,保证一个分区只会被一个消费者消费。 代码样例如下所示: package com.huaweicloud
-
查询分区监控 - 数据接入服务 DIS
最大长度:60 partition_id 是 String 分区编号。可定义为如下两种样式:- shardId-0000000000- 0比如一个通道有三个分区,那么分区标识符分别为0, 1, 2,或者shardId-0000000000, shardId-0000000001, shardId-0000000002
-
数据下载的消费模式 - 数据接入服务 DIS
[992787] subscribe 模式 用户指定通道名称即可,无需指定具体分区,服务端会根据消费者的数量变化或者通道扩缩容变化,触发group management机制,自动给每一个消费者分配分区,保证一个分区只会被一个消费者消费。 代码样例如下所示: package com.huaweicloud
-
上传数据 - 数据接入服务 DIS
sequence_number String 数据上传到的序列号。序列号是每个记录的唯一标识符。序列号由DIS在数据生产者调用PutRecords操作以添加数据到DIS数据通道时DIS服务自动分配的。同一分区键的序列号通常会随时间变化增加。PutRecords请求之间的时间段越长,序列号越大。
-
获取数据游标 - 数据接入服务 DIS
starting-sequence-number 否 String 序列号。序列号是每个记录的唯一标识符。序列号由DIS在数据生产者调用PutRecords操作以添加数据到DIS数据通道时DIS服务自动分配的。同一分区键的序列号通常会随时间变化增加。PutRecords请求之间的时间段越长,序列
-
提交Checkpoint - 数据接入服务 DIS
String 用户Token。 通过调用IAM服务获取用户Token接口获取(响应消息头中X-Subject-Token的值)。 表3 请求Body参数 参数 是否必选 参数类型 描述 app_name 是 String APP的名称,用户数据消费程序的唯一标识符,需要先通过创建App接口创建。