检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
CSV:纯文本形式存储的表格数据,分隔符默认采用逗号。 缺省值:BLOB。 枚举值: BLOB JSON CSV data_schema String 用于描述用户JSON、CSV格式的源数据结构,采用Avro Schema的语法描述。Avro介绍您也可以点击这里查看。 compression_format String
查询通道列表 参考初始化DIS客户端的操作初始化一个DIS客户端实例,实例名称为dic。 使用DIS SDK列出当前活动的通道。 使用setLimit方法设定每次查询时返回的通道数量,若不指定则默认返回的通道数量上限为10。即通道数量少于等于10时显示实际通道数量,通道数量大于10时显示为10。
用户所属区域的项目ID。 获取方式请参见检查认证信息。 请根据实际情况配置 client_id 否 客户端ID,用于标识消费组内的消费者。 起多个pipeline或者多个Logstash实例消费时,需要配置不同的值。比如实例1的值为client1,实例2的值为client2。 logstash endpoint
Partial Content 服务器成功处理了部分GET请求。 300 Multiple Choices 多种选择。请求的资源可包括多个位置,相应可返回一个资源特征与地址的列表用于用户终端(例如:浏览器)选择。 301 Moved Permanently 永久移动,请求的资源已被永久
转储相关问题 DIS如何实现转储数据至DWS的特定列 Schema如何支持字段缺省或者为NULL 如何专线接入DIS 读取通道数据时,如何区分不同类型数据?
管理通道 通道列表简介 查看通道监控信息 变更源数据类型 管理源数据Schema 管理通道标签 管理App 授权管理 调试通道 弹性伸缩分区 删除通道
CSV:纯文本形式存储的表格数据,分隔符默认采用逗号。 缺省值:BLOB。 枚举值: BLOB JSON CSV data_schema 否 String 用于描述用户JSON、CSV格式的源数据结构,采用Avro Schema的语法描述。 auto_scale_enabled 否 Boolean 是否开启自动扩缩容。
从该分区值开始返回分区列表,返回的分区列表不包括此分区。 checkpoint_type 是 String Checkpoint类型。 LAST_READ:在数据库中只记录序列号。 枚举值: LAST_READ 请求参数 表3 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token
i完成JDK变量配置。 如需配置多个不同的变量对应不同版本的JDK,请执行1.c.ii~1.c.iv。 图2 Installed JREs 勾选已安装的JDK,单击“OK”。 单击“Add”按钮,弹出“Add JRE”窗口,如图3所示。 图3 JRE Type 选择一个JRE类型,单击“Next”,弹出如图4所示窗口。
i完成JDK变量配置。 如需配置多个不同的变量对应不同版本的JDK,请执行1.c.ii~1.c.iv。 图2 Installed JREs 勾选已安装的JDK,单击“OK”。 单击“Add”按钮,弹出“Add JRE”窗口,如图3所示。 图3 JRE Type 选择一个JRE类型,单击“Next”,弹出如图4所示窗口。
LAST_READ:在数据库中只记录序列号。 枚举值: LAST_READ stream_name 是 String 已创建的通道名称。 partition_id 是 String 通道的分区标识符。可定义为如下两种样式:- shardId-0000000000- 0比如一个通道有三个分区,那么分区标识符分别为0
Checkpoint类型。 LAST_READ:在数据库中只记录序列号。 枚举值: LAST_READ partition_id 否 String 该Checkpoint所属的通道分区标识符。可定义为如下两种样式:- shardId-0000000000- 0比如一个通道有三个分区,那么分区标识符分别为0
10MB/秒,单次请求的记录总大小不能超过5MB(不包含partitionKey数据大小) 分区数量:分区是DIS数据通道的基本吞吐量单位。通道的多个分区可以并发进行数据传输,以提升效率。 源数据类型:BLOB、JSON、CSV。 生命周期(小时):存储在DIS中的数据保留的最长时间,超
partition_id 是 String 该Checkpoint所属的通道分区标识符。可定义为如下两种样式:- shardId-0000000000- 0比如一个通道有三个分区,那么分区标识符分别为0, 1, 2,或者shardId-0000000000, shardId-0000000001, shardId-0000000002
缺省值:LATEST 枚举值: LATEST TRIM_HORIZON dli_database_name 是 String 存储该通道数据的DLI数据库名称。 dli_table_name 是 String 存储该通道数据的DLI表名称。 说明: 仅支持数据位置为DLI的表,且用户需具有该表的插入权限。
escribeStream(查询通道详情)接口获取,其sequenceNumberRange代表数据有效范围,第一个值为最老数据的sequenceNumber,最后一个值为下一条上传数据的sequenceNumber(最新数据的sequenceNumber为此值-1) 图3 下载数据
的所有通道。 将通道迁入或迁出企业项目 一个DIS通道只能关联一个企业项目。当通道创建成功后,可以在企业管理的控制台中,执行迁出操作,将DIS通道从当前所属的企业项目中迁出到另一个企业项目中;或者执行迁入操作,在指定的企业项目中迁入另一个企业项目中的DIS通道。迁入迁出后,DIS
最大长度:60 partition_id 是 String 分区编号。可定义为如下两种样式:- shardId-0000000000- 0比如一个通道有三个分区,那么分区标识符分别为0, 1, 2,或者shardId-0000000000, shardId-0000000001, shardId-0000000002
“carbon”格式。 缺省值:text 枚举值: text parquet carbon processing_schema 否 ProcessingSchema object 根据源数据的时间戳和已配置的"partition_format"生成对应的转储时间目录。将源数据的时
earliest 将偏移量自动重置为最旧的值; latest将偏移量自动重置为最新的值; none 如果在消费者组中没有发现前一个偏移量,就向消费者抛出一个异常; 其他参数 参数 不支持 - 父主题: 使用Kafka Adapter上传与下载数据