检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
功能描述 DLI将Flink作业的输出数据输出到Kafka中。 Apache Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统，具有高吞吐量、内置分区、支持数据副本和容错的特性，适合在大规模消息处理场景中使用。 前提条件 Kafka服务端的端口如果监听在hostname上，则需要将Kafka
功能描述 DLI将Flink作业的输出数据输出到Kafka中。 Apache Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统，具有高吞吐量、内置分区、支持数据副本和容错的特性，适合在大规模消息处理场景中使用。 前提条件 Kafka服务端的端口如果监听在hostname上，则需要将Kafka
南》中的“选择依赖资源参数说明”。 通过API提交作业请参考《数据湖探索API参考》>《创建批处理作业》中“表2-请求参数说明”关于“modules”参数的说明。 完整示例代码 通过DataFrame API访问 认证用的password硬编码到代码中或者明文存储都有很大的安全风
将分布在不同区域的资源按照企业项目进行统一管理，同时可以为每个企业项目设置拥有不同权限的用户组和用户。 DLI支持在创建弹性资源池时选择企业项目，本节操作为您介绍DLI弹性资源池如何绑定、修改企业项目。 修改弹性资源池的企业项目，会同时修改弹性资源池下的队列资源的企业项目。 即弹
架构规划企业项目，将分布在不同区域的资源按照企业项目进行统一管理，同时可以为每个企业项目设置拥有不同权限的用户组和用户。 DLI支持在创建队列时选择企业项目，本节操作为您介绍DLI队列资源如何绑定、修改企业项目。 当前仅支持对未加入弹性资源池的队列资源修改企业项目。 前提条件 在
使用Temporal join关联维表的最新分区 功能描述 对于随时间变化的分区表，我们可以将其读取为无界流，如果每个分区包含某个版本的完整数据，则该分区可以被视为时间表的一个版本，时间表的版本保留了分区的数据。Flink支持在处理时间关联中自动跟踪时间表的最新分区（版本）。 最新分区（版本）由
中优先抵扣弹性资源池CU时套餐包的规格额度，超过额度的使用量按需计费。弹性资源池的CU时套餐包的额度每个月会重置。 弹性资源池单个计费周期内小于1CU的向上取整。 弹性资源池扩缩容的开始时间点是以实际扩缩容成功后时间点开始计算，不是按照扩缩容配置的时间开始计费。 弹性资源池队列扩
java样例代码 开发说明 本样例只适用于MRS的HBase。 前提条件 在DLI管理控制台上已完成创建跨源连接并绑定队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。
HBase连接器支持读取和写入HBase集群。本文档介绍如何使用HBase连接器基于HBase进行SQL查询。 HBase连接器在upsert模式下运行，可以使用 DDL 中定义的主键与外部系统交换更新操作消息。但是主键只能基于HBase的rowkey字段定义。如果没有声明主键，HBas
窗口偏移 Offset 可选参数，可以用来改变窗口的分配。可以是正或者负的区间。默认情况下窗口的偏移是 0。不同的偏移值可以决定记录分配的窗口。 例如：在 10 分钟大小的滚动窗口下，时间戳为 2021-06-30 00:00:04 的数据会被分配到哪个窗口呢？ 当 offset 为
json数据类型的数据，输出到日志文件中。 参考增强型跨源连接，根据Kafka所在的虚拟私有云和子网创建相应的增强型跨源，并绑定所要使用的Flink弹性资源池。 设置Kafka的安全组，添加入向规则使其对Flink的队列网段放通。参考测试地址连通性根据Kafka的地址测试队列连通
json数据类型的数据，输出到日志文件中。 参考增强型跨源连接，根据Kafka所在的虚拟私有云和子网创建相应的增强型跨源，并绑定所要使用的Flink弹性资源池。 设置Kafka的安全组，添加入向规则使其对Flink的队列网段放通。参考测试地址连通性根据Kafka的地址测试队列连通
Management，简称IAM）进行精细的权限管理。该服务提供用户身份认证、权限分配、访问控制等功能，可以帮助您安全的控制华为云资源的访问。 关于IAM的详细介绍，请参见IAM产品介绍。 权限根据授权精细程度分为角色和策略。 角色：IAM最初提供的一种根据用户的工作职能定义权限的粗粒度授权机制。该机
8。 图1 添加队列test_a的扩缩容策略 添加完成后，可以在队列管理的界面看到队列test_a的扩缩容策略配置。 图2 队列test_a扩缩容策略配置 单击结果图形化按钮，可以看到队列test_a的优先级和所有时间段的CU设置。 图3 队列test_a扩缩容策略结果图形化 参
创建VPC和子网的操作指导请参考创建虚拟私有云和子网，如果需要在已有VPC上创建和使用新的子网，请参考为虚拟私有云创建新的子网。 创建的VPC与使用的Kafka服务应在相同的区域。 创建VPC和子网时，如无特殊需求，配置参数使用默认配置即可。 创建安全组的操作指导请参考创建安
否 Zookeeper中的根目录，默认是/hbase connector.rowkey 否 读取复合rowkey的内容，并根据设置的大小，赋给新的字段 形如：rowkey1:3,rowkey2:3,… 其中3表示取该字段的前3个byte，该值不能大于该字段的字节大小，且该值不能小于
Zookeeper中的根目录，默认是/hbase connector.write.buffer-flush.max-size 否 每次插入的数据的最大的缓存大小，默认为2mb ,仅支持mb connector.write.buffer-flush.max-rows 否 每次刷新数据的最大条数
TABLE等语句）、管理分区语句、失败的查询语句无需付费。 取消的查询，按取消查询时扫描的总数据量计费。 若计算任务超时或失败，则当次计算不收取费用。 数据的存储方式（包括格式，是否压缩）对计算费用有直接的影响。 假设Parquet格式文件为原CSV文件大小的1/4，则数据扫描费用为原CSV文件扫描费用的1/4。
DLI将Flink作业的输出数据输出到云搜索服务CSS的Elasticsearch中。Elasticsearch是基于Lucene的当前流行的企业级搜索服务器，具备分布式多用户的能力。其主要功能包括全文检索、结构化搜索、分析、聚合、高亮显示等。能为用户提供实时搜索、稳定可靠的服务。适用于日志分析、站内搜索等场景。
DLI将Flink作业的输出数据输出到云搜索服务CSS的Elasticsearch中。Elasticsearch是基于Lucene的当前流行的企业级搜索服务器，具备分布式多用户的能力。其主要功能包括全文检索、结构化搜索、分析、聚合、高亮显示等。能为用户提供实时搜索、稳定可靠的服务。适用于日志分析、站内搜索等场景。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
