检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
ConsumerRecords<String, String> records = consumer.poll(Long.MAX_VALUE); if (!records.isEmpty())
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
ck大小,取值范围是1~2048MB,默认值是1024MB。 table_blocklet_size:文件内的Blocklet大小,默认值是64MB。 local_dictionary_enable:配置为true或者false,默认值是false。 sort_columns:指定索引列,多级索引列用“,”分隔。
1分钟 dis03_stream_put_records 总输入记录数 该指标用于统计指定时间范围内,通道上传记录数。 单位:Count/s。 ≥ 0 Count/s 通道 1分钟 dis04_stream_get_records 总输出记录数 该指标用于统计指定时间范围内,通道下载记录数。
ConsumerRecords<String, String> records = consumer.poll(Long.MAX_VALUE); if (!records.isEmpty())
算读分区数”中的最大值作为预估所需分区数量。 单击“使用计算值”将系统计算出的建议值应用于“分区数量”。 - 生命周期(小时) 存储在DIS中的数据保留的最长时间,超过此时长数据将被清除。 取值范围:24~72的整数。 24 源数据类型 BLOB:存储在数据库管理系统中的一组二进
算读分区数”中的最大值作为预估所需分区数量。 单击“使用计算值”将系统计算出的建议值应用于“分区数量”。 - 生命周期(小时) 存储在DIS中的数据保留的最长时间,超过此时长数据将被清除。 取值范围:24~72的整数。 24 源数据类型 BLOB:存储在数据库管理系统中的一组二进
Flink Connector依赖: <dependency> <groupId>com.cloud.dis</groupId> <artifactId>cloud-dis-flink-connector_2.11</artifactId> <version>1
Spark Streaming依赖: <dependency> <groupId>com.cloud.dis</groupId> <artifactId>cloud-dis-spark-streaming_2.11</artifactId> <version>1
通道的转储任务名称不可重复。任务名称由英文字母、数字、中划线和下划线组成。长度为1~64个字符。 - DLI数据库 单击“选择”,在“选择DLI数据库”窗口选择一个数据库。 此配置项仅支持选择,不可手动输入。 - DLI数据表 单击“选择”,在“选择DLI数据表”窗口选择一个数据
件。 单位:秒 最小值:30 最大值:900 缺省值:300 consumer_strategy 否 String 偏移量。 LATEST:最大偏移量,即获取最新的数据。 TRIM_HORIZON:最小偏移量,即读取最早的数据。 缺省值:LATEST 枚举值: LATEST TRIM_HORIZON
传了[N3行/N4文件]。 Agent: Progress: [N1 records (B1 bytes) / N2 files (B2 bytes)] parsed, and [N3 records / N4 files] sent successfully to destinations
ZSTD) // 配置压缩算法,当前支持lz4和zstd,默认值为lz4 // 以下配置失败时的重试次数 .withProperty(DISConfig.PROPERTY_PRODUCER_RECORDS_RETRIES, "-1") .withProperty(DISConfig
统一身份认证服务(Identity and Access Management,简称IAM) 统一身份认证服务为DIS提供了用户鉴权功能。 云审计服务(Cloud Trace Service,简称CTS) 云审计服务记录DIS相关的操作事件,方便用户日后的查询、审计和回溯。CTS的更多信息,请参见《云审计服务用户指南》。
单击现有通道列表右上角的“标签搜索”,展开查询页。 输入待查询通道的标签。 标签键或标签值可以通过下拉列表中选择,当标签键或标签值全匹配时,系统可以自动查询到目标通道。当有多个标签条件时,会取各个标签的交集,进行通道查询。 单击“搜索”。 系统根据标签键或标签值搜索目标通道。 图2 搜索目标通道 管理标签 在现有通
其sequenceNumberRange代表数据有效范围,第一个值为最老数据的sequenceNumber,最后一个值为下一条上传数据的sequenceNumber(最新数据的sequenceNumber为此值-1) 图3 下载数据 父主题: 管理通道
dissource.channels = memoryChannel agent.sources.dissource.type = com.cloud.dis.adapter.flume.source.DISSource agent.sources.dissource.streams
X-Auth-Token 是 String 用户Token。 通过调用IAM服务获取用户Token接口获取(响应消息头中X-Subject-Token的值)。 响应参数 状态码: 200 表3 响应Body参数 参数 参数类型 描述 tags Array of Tags objects 标签列表。
入门实践 当您参考开通DIS、从DIS获取数据等一系列操作后,可以根据自身的业务需求使用DIS提供的一系列常用实践。 表1 常用最佳实践 实践 描述 案例 使用DIS实时分析车辆位置 数据接入服务(Data Ingestion Service,简称DIS)实时采集车辆位置数据并上