检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
1分钟 dis03_stream_put_records 总输入记录数 该指标用于统计指定时间范围内,通道上传记录数。 单位:Count/s。 ≥ 0 Count/s 通道 1分钟 dis04_stream_get_records 总输出记录数 该指标用于统计指定时间范围内,通道下载记录数。
SDK进行二次开发前需要进行的初始化工作。 Python:准备环境~~获取数据游标 介绍使用DIS SDK进行的常用操作(匹配python)。 Java:准备环境~~变更分区数量 介绍使用DIS SDK进行的常用操作(匹配java)。 DIS服务端错误码 介绍使用DIS SDK过程中遇到异常时的响应信息。 父主题:
传了[N3行/N4文件]。 Agent: Progress: [N1 records (B1 bytes) / N2 files (B2 bytes)] parsed, and [N3 records / N4 files] sent successfully to destinations
08:00:00 GMT+08:00。 计费模式:目前仅支持按需付费方式。 操作:当前操作列表支持删除通道、扩缩容、查看授权管理、查看转储任务和变更源数据类型的操作。 父主题: 管理通道
// 以下配置失败时的重试次数 .withProperty(DISConfig.PROPERTY_PRODUCER_RECORDS_RETRIES, "-1") .withProperty(DISConfig.PROPERTY_PRODUCER_EXCEPTION_RETRIES
统一身份认证服务(Identity and Access Management,简称IAM) 统一身份认证服务为DIS提供了用户鉴权功能。 云审计服务(Cloud Trace Service,简称CTS) 云审计服务记录DIS相关的操作事件,方便用户日后的查询、审计和回溯。CTS的更多信息,请参见《云审计服务用户指南》。
Operator”。 创建用户并加入用户组 在IAM控制台创建用户,并将其加入1中创建的用户组。 用户登录并验证权限 新创建的用户登录控制台,切换至授权区域,验证权限: 在“服务列表”中选择“数据接入服务”,进入DIS主界面创建通道,若未提示权限不足,表示“DIS Operator”已生效。
第七次正式发布。 修改文档结构和名称。 2018-07-10 第六次正式发布。 新增了如下内容: 创建APP 删除APP 查询Checkpoint 变更分区数量 2018-06-12 第五次正式发布。 修改了如下内容: 开通DIS服务 DIS服务端错误码 2018-05-11 第四次正式发布。
total_get_bytes_per_partition:分区总输出流量(Byte) total_put_records_per_partition:分区总输入记录数(个) total_get_records_per_partition:分区总输出记录数(个) 枚举值: total_put_bytes_per_partition
(cn-north-1)中设置相关权限,并且该权限仅对此项目生效,如果需要所有区域都生效,则需要在所有项目都设置权限。访问DIS时,需要先切换至授权区域。 角色:IAM最初提供的一种根据用户的工作职能定义权限的粗粒度授权机制。该机制以服务为粒度,提供有限的服务相关角色用于授权。由
14:40:22.092 [main] INFOcom.bigdata.dis.sdk.demo.ProducerDemo - Put 3 records[3 successful / 0 failed]. 14:40:22.092 [main] INFOcom.bigdata.dis.sdk
生产者调用PutRecord操作以添加数据到DIS数据通道时DIS服务自动分配的。同一分区键的序列号通常会随时间变化增加。PutRecords请求之间的时间段越长,序列号越大。 应用程序:一个DIS应用程序是读取和处理来自DIS数据通道的使用者。您可以使用客户端库(SDK)构建DIS应用程序。
14:40:22.092 [main] INFOcom.bigdata.dis.sdk.demo.ProducerDemo - Put 3 records[3 successful / 0 failed]. 14:40:22.092 [main] INFOcom.bigdata.dis.sdk
订阅所有匹配通配符的通道并支持ConsumerRebalanceListener回调 void unsubscribe() 接口 支持 取消所有订阅 ConsumerRecords<K, V> poll(long var1) 接口 支持 获取消息,但消息当中未实现 checksum(消息的CRC32校验值)、seri
订阅所有匹配通配符的通道并支持ConsumerRebalanceListener回调 void unsubscribe() 接口 支持 取消所有订阅 ConsumerRecords<K, V> poll(long var1) 接口 支持 获取消息,但消息当中未实现 checksum(消息的CRC32校验值)、seri
ProjectID 通道名称起始位置Streaming批次时间 如在华北-北京1测试,则参数示例为 https://dis.${region}.cloud.com ${region} YOU_AK YOU_SK YOU_PROJECTID YOU_STREAM_NAME latest 10
单位:毫秒 记录队列满则立即上传。 记录队列未满,等待此配置项配置的时间后上传到DIS服务。 5000 maxBufferSizeRecords 否 记录队列缓存的最大记录数,如果队列达到此值则立刻上传这批数据。 500 partitionKeyOption 否 每条记录会携带一个