检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
个时间段内无数据,则此时间段不会生成打包文件。 单位:秒 最小值:30 最大值:900 缺省值:300 consumer_strategy 否 String 偏移量。 LATEST:最大偏移量,即获取最新的数据。 TRIM_HORIZON:最小偏移量,即读取最早的数据。 缺省值:LATEST
on_key。 sequence_number String 该条数据的序列号。 data String 下载的数据。 下载的数据为序列化之后的二进制数据(Base64编码后的字符串)。 比如下载数据接口返回的数据是“ZGF0YQ==”,“ZGF0YQ==”经过Base64解码之后是“data”。
ADVANCED data_type 否 String 源数据类型。 BLOB:存储在数据库管理系统中的一组二进制数据。 JSON:一种开放的文件格式,以易读的文字为基础,用来传输由属性值或者序列性的值组成的数据对象。 CSV:纯文本形式存储的表格数据,分隔符默认采用逗号。 缺省值:BLOB。 枚举值:
F)。 最小长度:1 最大长度:36 value 否 String 值。 长度不超过43个字符。 字符集:A-Z,a-z , 0-9,‘.’,‘-’,‘_’,UNICODE字符(\u4E00-\u9FFF)。 只能包含数字、字母、中划线“-”、下划线“_”。 最小长度:0 最大长度:43
样例 标签键 不能为空。 对于同一个通道,标签键唯一。 长度不超过36个字符,不能包含“=”,“*”,“<”,“>”,“\”,“,”,“|”,“/”,且首尾字符不能为空格。 Organization 标签值 标签值可以为空 长度不超过43个字符,不能包含“=”,“*”,“<”,“>”
获取消息,但消息当中未实现 checksum(消息的CRC32校验值)、serializedKeySize(key序列化后的字节长度)、serializedValueSize(key序列化后的字节长度)。 void commitSync() 接口 支持 同步提交当前消费的offset void commitSync(final
retention_period Integer 数据保留时长,单位是小时。 stream_id String 通道唯一标识符。 data_type String 源数据类型。 BLOB:存储在数据库管理系统中的一组二进制数据。 JSON:一种开放的文件格式,以易读的文字为基础,用来传输由属性值或者序列性的值组成的数据对象。
获取消息,但消息当中未实现 checksum(消息的CRC32校验值)、serializedKeySize(key序列化后的字节长度)、serializedValueSize(key序列化后的字节长度)。 void commitSync() 接口 支持 同步提交当前消费的offset void commitSync(final
分区键和数据块组成。数据块是您的数据生产者添加到数据通道的重要数据。数据块的最大尺寸(Base64编码前的数据有效载荷)是1MB。 序列号:序列号是每个记录的唯一标识符。序列号由DIS在数据生产者调用PutRecord操作以添加数据到DIS数据通道时DIS服务自动分配的。同一分区
响应Body参数 参数 参数类型 描述 partition_cursor String 数据游标。 取值范围:1~512个字符。 说明: 数据游标有效期为5分钟。 最小长度:1 最大长度:512 请求示例 获取数据游标 GET https://{Endpoint}/v2/{project_id}/cursors
F)。 最小长度:1 最大长度:36 value 否 String 值。 长度不超过43个字符。 字符集:A-Z,a-z , 0-9,‘.’,‘-’,‘_’,UNICODE字符(\u4E00-\u9FFF)。 只能包含数字、字母、中划线“-”、下划线“_”。 最小长度:0 最大长度:43
存储该通道数据的HBase表数据的列族名称。 column_name 是 String 存储该通道数据的HBase表数据的列名称。 取值范围:1~32,只能包含英文字母、数字和下划线。 value 是 String 通道内JSON数据的JSON属性名,用于生成HBase数据的列值。
ADVANCED data_type String 源数据类型。 BLOB:存储在数据库管理系统中的一组二进制数据。 JSON:一种开放的文件格式,以易读的文字为基础,用来传输由属性值或者序列性的值组成的数据对象。 CSV:纯文本形式存储的表格数据,分隔符默认采用逗号。 缺省值:BLOB。 枚举值:
指定数据从通道中开始消费的位置,支持: earliest:从通道中最早的数据开始消费 latest:从通道中最新的数据开始消费 latest 配置DIS Logstash Output 配置模板如下:(该模板为读取本地文件数据并上传到DIS通道) input { file { path
是否必选 参数类型 描述 app_name 是 String APP的名称,用户数据消费程序的唯一标识符。 应用名称由字母、数字、下划线和中划线组成,长度为1~200个字符。 最小长度:1 最大长度:200 响应参数 无 请求示例 创建消费App POST https://{En
} } // 数据处理完成之后异步提交当前offset(也可使用同步提交commitSync) consumer.commitAsync(new
} } // 数据处理完成之后异步提交当前offset(也可使用同步提交commitSync) consumer.commitAsync(new
秒。 上传/下载请求平均处理时间(毫秒/个) 用户指定时间范围内,指定通道的上传/下载请求平均处理时间。单位:毫秒/个。 当在消费通道中提交了checkpoint操作,如何提交请参见新增Checkpoint,支持按照App维度监控App在通道中消费的数据信息。根据实际情况在“通道