检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hive结果表 功能描述 本节介绍利用Flink写Hive的表。Hive结果表的定义，以及创建结果表时使用的参数和示例代码。详情可参考：Apache Flink Hive Read & Write Flink 支持在 BATCH 和 STREAMING 模式下从Hive写入数据。
Hive方言 简介 从Flink 1.11.0 开始，在使用Hive方言时，Flink允许用户用Hive语法来编写SQL语句。通过提供与Hive语法的兼容性，改善与Hive的互操作性，并减少用户需要在Flink和Hive之间切换来执行不同语句的情况。详情可参考：Apache Flink
join始终会加入最新版本的时态表。Flink支持分区表和 Hive非分区表的临时连接，对于分区表，Flink 支持自动跟踪Hive表的最新分区。详情可参考：Apache Flink Hive Read & Write 注意事项 Flink目前不支持与Hive表进行基于事件时间event-time的时间关联。
是利用Flink来读写Hive的表。Overview | Apache Flink 从Flink 1.11.0开始，在使用 Hive方言时，Flink允许用户用Hive语法来编写SQL语句。通过提供与Hive语法的兼容性，改善与Hive的互操作性，并减少用户需要在Flink和Hi
执行以下命令查看Sink表中是否接收到数据，即Hive表是否正常写入数据。 beeline select * from user_behavior_hive_tbl; 场景二：Hive作为维表。 参考Hive客户端使用实践进入Hive客户端，创建Hive表并插入数据 。 CREATE TABLE hive3 ( id
及作为读写现有Hive元数据的接口。 Flink 的Hive 文档提供了有关设置 HiveCatalog以及访问现有 Hive 元数据的详细信息。详情参考：Apache Flink Hive Catalog HiveCatalog可以用来处理两种类型的表：Hive兼容表和通用表。
Hive 创建Hive Catalog Hive方言 Hive源表 Hive结果表 Hive维表 使用Temporal join关联维表的最新分区 使用Temporal join关联维表的最新版本 父主题： Connector列表
使用Flink Jar写入数据到OBS开发指南 概述 DLI提供了使用自定义Jar运行Flink作业并将数据写入到OBS的能力。本章节JAVA样例代码演示将kafka数据处理后写入到OBS，具体参数配置请根据实际环境修改。 环境准备 已安装和配置IntelliJ IDEA等开发工具以及安装JDK和Maven。
作业开发SQL标准化等特点。 Flink结构如图2所示。 图2 Flink结构 Flink整个系统包含三个部分： Client Flink Client主要给用户提供向Flink系统提交用户任务（流式作业）的能力。 TaskManager Flink系统的业务执行节点，执行具体的
MRS是否支持通过Hive的HBase外表将数据写入到HBase？ 问：MRS是否支持通过Hive的HBase外表将数据写入到HBase？ 答：不支持。Hive on HBase只支持查询，不支持更改数据。 父主题： 应用开发类
Flink SQL作业消费Kafka后sink到es集群，作业执行成功，但未写入数据 问题现象 客户创建Flink SQL作业，消费Kafka后sink到es集群，作业执行成功，但无数据。 原因分析 查看客户作业脚本内容，排查无问题，作业执行成功，出现该问题可能的原因如下： 数据不准确。
作请参考从零开始使用Hive，应用开发请参考Hive应用开发。 元数据存储：Hive将元数据存储在数据库中，如MySQL、Derby。Hive中的元数据包括表的名字，表的列和分区及其属性，表的属性（是否为外部表等），表的数据所在目录等。 Hive结构 Hive为单实例的服务进程，
CATALOG myhive WITH ( 'type' = 'hive' , 'default-database' = 'demo', 'hive-conf-dir' = '/opt/flink/conf' ); USE CATALOG myhive; CREATE
Flink SQL和Flink Opensource SQL的语法有什么区别？ Flink SQL是DLI早期的自研语法，不兼容开源语法。 Flink Opensource SQL完全兼容Flink开源语法，随开源Flink 更新不断迭代。 因此推荐您使用Flink Opensource
缓存刷新需加载整个Hive表。无法区分新数据和旧数据。 参数说明 在执行与最新的Hive表的时间关联时，Hive表将被缓存到Slot内存中，然后通过键将流中的每条记录与表进行关联，以确定是否找到匹配项。将最新的Hive表用作时间表不需要任何额外的配置。使用以下属性配置Hive表缓存的TT
开源Kafka输出流 OBS输出流 RDS输出流 创建输出流 SMN输出流 文件系统输出流(推荐） 创建中间流 创建中间流 创建维表 创建Redis表 创建RDS表 自拓展生态 自拓展输入流 自拓展输出流 父主题： Flink SQL语法参考（不再演进，推荐使用Flink OpenSource
Flink作业输出流写入数据到OBS，通过该OBS文件路径创建的DLI表查询无数据 问题现象 使用Flink作业输出流写入数据到了OBS中，通过该OBS文件路径创建的DLI表进行数据查询时，无法查询到数据。 例如，使用如下Flink结果表将数据写入到OBS的“obs://obs-sink/car_infos”路径下。
Hive SQL扩展语法说明 Hive SQL支持Hive-3.1.0版本中的所有特性，详情请参见https://cwiki.apache.org/confluence/display/hive/languagemanual。 系统提供的扩展Hive语句如表1所示。 表1 扩展Hive语句
Spark从Hive读取数据再写入HBase样例程序（Java） 功能介绍 在Spark应用中，通过使用Spark调用Hive接口来操作hive表，然后把Hive表的数据经过分析后写到HBase表。 代码样例 下面代码片段仅为演示，具体代码参见：com.huawei.bigdata
jar，该jar包可在MRS client目录下获取。 代码样例 下面列出producer和consumer，以及Flink Stream SQL Join使用主要逻辑代码作为演示。 完整代码参见com.huawei.bigdata.flink.examples.WriteIntoKafka和com
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
