检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ConsumerRecords<String, String> records = consumer.poll(Long.MAX_VALUE); if (!records.isEmpty())
total_get_bytes_per_partition：分区总输出流量（Byte） total_put_records_per_partition：分区总输入记录数（个） total_get_records_per_partition：分区总输出记录数（个） 枚举值： total_put_bytes_per_partition
“dis-spark-streaming-demo”目录包含一个Maven工程样例。 编写SparkStreaming作业 以IntelliJ IDEA社区版为例，说明如何编写SparkStreaming作业。请先确保在IDEA上已经正确配置好 JDK 1.8+ Scala-sdk-2.11 Maven 3.3
0-9，‘-’，‘_’，UNICODE字符（\u4E00-\u9FFF）。 最大长度：36 values Array of strings 标签值列表。 如果values为空列表，则表示any_value。value之间为或的关系。 请求示例 查询指定区域所有标签集合。 GET https://{En
ConsumerRecords<String, String> records = consumer.poll(Long.MAX_VALUE); if (!records.isEmpty()) { for (TopicPartition partition : records.partitions())
DIS有哪些特点和优势？ DIS有哪些模块及各模块功能？ 如何开通DIS通道？ 数据存储在DIS和转储其他资源有什么区别？ 如何校验软件包完整性？ DIS如何发送和接收数据？ 什么是流控？ DIS对接EPS鉴权后，进入通道列表页面看不见之前创建的通道？
查询指定通道的标签信息 功能介绍 该接口用于查询指定通道的标签信息。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/stream/{stream_id}/tags 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String
内容导航 SDK开发指南指导您如何安装和配置开发环境、如何通过调用DIS SDK提供的接口函数进行二次开发。 章节 内容 DIS SDK能做什么 内容导航 简要介绍DIS的概念和DIS SDK的概念。 SDK下载 兼容性 如何校验软件包完整性？ 介绍使用DIS SDK进行二次开发过程中涉及到的资源信息。
查询APP详情 √ √ √ 查询APP列表 √ √ √ 删除APP √ √ √ 新增Checkpoint √ x √ 查询Checkpoint √ √ √ 删除Checkpoint √ x √ 添加转储任务 √ √ √ 查询转储任务详情 √ √ √ 查询转储任务列表 √ √ √ 删除转储任务
添加MRS转储任务 功能介绍 本接口用于添加MRS转储任务。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/streams/{stream_name}/transfer-tasks 表1 路径参数 参数 是否必选 参数类型 描述 project_id
maxBufferAgeMillis 否 最长上传等待时间。 单位：毫秒 记录队列满则立即上传。 记录队列未满，等待此配置项配置的时间后上传到DIS服务。 5000 maxBufferSizeRecords 否 记录队列缓存的最大记录数，如果队列达到此值则立刻上传这批数据。 500 partitionKeyOption
与原生KafkaProducer接口适配说明 DISKafkaProducer的实现与KafkaProducer的实现不同，DISKafkaProducer的客户端与服务端通过Rest API实现，而KafkaProducer是基于TCP协议实现，在接口兼容上有如下差异。 表1 适配说明 原生KafkaProducer
与原生KafkaProducer接口适配说明 DISKafkaProducer的实现与KafkaProducer的实现不同，DISKafkaProducer的客户端与服务端通过Rest API实现，而KafkaProducer是基于TCP协议实现，在接口兼容上有如下差异。 表1 适配说明 原生KafkaProducer
0～7200。单位：秒。默认配置为1800。 dws_table_columns String 指定要转储到DWS表中的列，为null或者为空则默认全列。比如“c1,c2”表示将Schema中c1和c2这两列转储到DWS。 默认为空。 options Options object DWS容错性选项（用于指定外表数据的各类参数）。
全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全； // 本示例以ak和sk保存在环境变量中来实现身份验证为例，运行本示例前请先在本地环境中设置环境变量HUAWEICLOUD_SDK_AK和HUAWEICLOUD_SDK_SK。
存储该通道数据的HBase表数据的列族名称。 column_name 是 String 存储该通道数据的HBase表数据的列名称。 取值范围：1～32，只能包含英文字母、数字和下划线。 value 是 String 通道内JSON数据的JSON属性名，用于生成HBase数据的列值。 type 是
start_partition_id 否 String 从该分区值开始返回分区列表，返回的分区列表不包括此分区。 checkpoint_type 是 String Checkpoint类型。 LAST_READ：在数据库中只记录序列号。 枚举值： LAST_READ 请求参数 表3 请求Header参数
删除Checkpoint 功能介绍 本接口用于删除Checkpoint。 调用方法 请参见如何调用API。 URI DELETE /v2/{project_id}/checkpoints 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID。
数据接入服务提供了REST（Representational State Transfer）风格API，支持您通过HTTPS请求调用。 调用方法请参见如何调用API。 父主题： 使用前必读
批量启动转储任务 功能介绍 此接口用于批量启动转储任务。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/streams/{stream_name}/transfer-tasks/action 表1 路径参数 参数 是否必选 参数类型 描述 project_id
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
