检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
commitCheckpointRequest.setPartitionId("0"); // Checkpoint类型 commitCheckpointRequest.setCheckpointType(CheckpointTypeEnum.LAST_READ.name()); 配置“CommitCheckpointRequest”对象之后
groupId> <artifactId>huaweicloud-dis-kafka-adapter</artifactId> <version>1.2.18</version> </dependency> 使用DIS样例工程 在https://dis-publish.obs-website.cn-north
构造请求 本节介绍REST API请求的组成,并以调用IAM服务的获取用户Token说明如何调用API,该API获取用户的Token,Token可以用于调用其他API时鉴权。
groupId> <artifactId>huaweicloud-dis-kafka-adapter</artifactId> <version>1.2.18</version> </dependency> 使用DIS样例工程 在https://dis-publish.obs-website.cn-north
配置Plugin DIS Flume Plugin 分为Source与Sink插件,安装包中的dis-flume-plugin.conf.template文件列出了配置方法,本节介绍各种插件的配置项具体含义。
下载数据之消费位移 消费位移确认有自动提交与手动提交两种策略,在创建DISKafkaConsumer对象时,通过参数enable.auto.commit设定,true表示自动提交(默认)。
下载数据之消费位移 消费位移确认有自动提交与手动提交两种策略,在创建DISKafkaConsumer对象时,通过参数enable.auto.commit设定,true表示自动提交(默认)。
设置DIS通道的告警规则包括设置告警规则名称、监控对象、监控指标、告警阈值、监控周期和是否发送通知等参数。本节介绍了设置DIS通道告警规则的具体方法。 操作步骤 登录管理控制台。 选择“管理与监管 > 云监控服务 CES”。
下面介绍如何调用创建通道API创建数据接入通道,API的调用方法请参见如何调用API。 通过IAM服务获取到的Token有效期为24小时,需要使用同一个Token鉴权时,可以先将Token缓存,避免频繁调用。
', 'obs_destination_description': {'obs_bucket_path': '002', 'deliver_time_interval': 30, 'retry_duration': 0, 'agency_name': 'all', 'partition_format
- 数据临时桶 用户数据先临时存储在OBS桶中,再转储到指定的转储服务,转储完成后临时桶中的数据会被清除。 - 数据临时目录 需要转储的数据临时存储在OBS桶下此配置项配置的目录中,转储完成后临时目录中的数据会被清除。 配置为空时,数据直接存储在OBS桶内。
在调用数据接入服务API之前,请确保已经充分了解数据接入服务相关概念,详细信息请参见“产品介绍”。 父主题: 使用前必读
删除指定通道的标签 功能介绍 该接口用于删除指定通道的标签。 调用方法 请参见如何调用API。
total_number': 1, 'tasks': [{'last_transfer_timestamp': 1538018769241, 'state': 'RUNNING', 'create_time': 1537949648144, 'destination_type': 'OBS
_3 # filePattern: /opt/*.log # initialPosition: START_OF_FILE # ## bucket name # OBSBucket: YOU_OBS_BUCKET_NAME # ## OBS endpoint
400 DIS.4310 OBS access error. 访问OBS失败 请检查用户是否有访问OBS的权限。 400 DIS.4329 app quota exceeded. APP配额超出限制 请释放APP的配额。
DIS连续传输数据,自动将数据传输至MRS,DLI,DWS和OBS等服务做计算,分析和存储。 图1 数据流向 父主题: 一般性问题
400 DIS.4310 OBS access error. 访问OBS失败 请检查用户是否有访问OBS的权限。 400 DIS.4319 Partition is expired.
具体参数解释请参见转储至OBS~~转储至MRS。 每个通道最多可创建5个转储任务。 单击“立即创建”。 在对应“任务名称”的操作列单击“更多 > 查看转储日志”,查看该通道的转储详情。转储参数说明如表1所示。
查询指定区域所有标签集合 功能介绍 该接口用于查询指定区域所有标签集合。 调用方法 请参见如何调用API。