检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用率较高。 可以通过修改全局数据的保留期为较短时间来释放磁盘空间，该方式需要重启Kafka服务才能生效，可能会影响业务运行。具体请参见7。 可以单独将topic的数据保留期改为较短时间来释放磁盘空间，该方式无需重启Kafka服务即可生效。具体请参见8。 登录Manager页面，
目限制了消费者的并发数。 消息key值选取一定是可变的，防止由于消息key值不变导致消息分布不均匀。 消费者尽量使用主动提交offset的方式，避免重复消费。 父主题： 开发Kafka应用
灵活的数据存储格式，支持JSON，CSV，TEXTFILE，RCFILE，ORCFILE，SEQUENCEFILE等存储格式，并支持自定义扩展。 多种客户端连接方式，支持JDBC接口。 Hive的主要应用于海量数据的离线分析（如日志分析，集群状态分析）、大规模的数据挖掘（用户行为分析，兴趣分区，区域展示）等场景下。
处理步骤 登录MRS集群页面，在“现有集群”中，单击对应的集群名称，进入集群详情页面。 单击“集群管理页面”后面的“前往 Manager”，弹出“访问MRS Manager页面”。 单击“管理安全组规则”，检查安全组规则配置。 检查入口方向Any协议的源地址是否为0.0.0.0/0。 如
以及授权他人访问表与对应HDFS目录与文件。默认创建的数据库或表保存在HDFS目录“/user/hive/warehouse”。 如果当前组件使用了Ranger进行权限控制，须基于Ranger配置相关策略进行权限管理，具体操作可参考添加Spark2x的Ranger访问权限策略。
色章节。 集群启用了Ranger鉴权，需参考添加Hive的Ranger访问权限策略章节授予用户对应数据库的Repl Dump/Load操作权限。 还需在源端集群和目标集群启用集群间拷贝功能。 需配置源端集群访问目标集群HDFS服务地址参数。 登录源端集群的FusionInsight
2)) 执行以下命令写入Hudi表，模式为OVERWRITE。 df.write.format("org.apache.hudi"). options(getQuickstartWriteConfigs). option(PRECOMBINE_FIELD_OPT_KEY, "ts")
回退升级补丁时增加的配置 不涉及。 重启相关组件 补丁卸载完成后，需要手动重启相关大数据组件服务，使补丁生效。 提供两种重启方式，请根据业务自行选择重启方式： 滚动重启：影响小，耗时长。 离线重启：会断服，耗时短。 登录MRS管理控制台或FusionInsight Manager界面。
Spark JDBCServer接口介绍 简介 JDBCServer是Hive中的HiveServer2的另外一个实现，它底层使用了Spark SQL来处理SQL语句，从而比Hive拥有更高的性能。 JDBCServer是一个JDBC接口，用户可以通过JDBC连接JDBCServ
source算子每隔1秒钟发送10000条数据，并注入到Window算子中。 window算子每隔1秒钟统计一次最近4秒钟内数据数量。 每隔1秒钟将统计结果打印到终端。具体查看方式请参考查看Flink应用调测结果。 每隔6秒钟触发一次checkpoint，然后将checkpoint的结果保存到HDFS中。 父主题：
source算子每隔1秒钟发送10000条数据，并注入到Window算子中。 window算子每隔1秒钟统计一次最近4秒钟内数据数量。 每隔1秒钟将统计结果打印到终端。具体查看方式请参考查看Flink应用运行结果。 每隔6秒钟触发一次checkpoint，然后将checkpoint的结果保存到HDFS中。 父主题： 异步Checkpoint机制程序
HetuEngine依赖的组件 名称 描述 HDFS Hadoop分布式文件系统（Hadoop Distributed File System），提供高吞吐量的数据访问，适合大规模数据集方面的应用。 Hive 建立在Hadoop基础上的开源的数据仓库，提供类似SQL的Hive Query Language
例时，仅有一个计算实例用作维护实例。配置已存在计算实例为维护实例时，其状态需为“已停止”。 配置HetuEngine维护实例步骤 使用用于访问HetuEngine WebUI界面的用户登录FusionInsight Manager。 选择“集群 > 服务 > HetuEngine”，进入HetuEngine服务页面。
Spark JDBCServer接口介绍 简介 JDBCServer是Hive中的HiveServer2的另外一个实现，它底层使用了Spark SQL来处理SQL语句，从而比Hive拥有更高的性能。 JDBCServer是一个JDBC接口，用户可以通过JDBC连接JDBCServ
务要使用ClickHouse集群模式，需要预先在各个节点的配置文件中定义cluster信息，等所有参与的节点达成共识，业务才可以正确的交互访问，也就是说配置文件中的cluster才是通常理解的“集群”概念。 图1 ClickHouse集群 常见的数据库系统，隐藏了表级以下的数据分
Kafka集群IP端口号安全模式下是21007，普通模式下是9092。 使用KafkaUI查看当前消费情况 进入KafkaUI界面。 使用具有KafkaUI页面访问权限的用户登录FusionInsight Manager，选择“集群 > 服务 > Kafka”。 如需在页面上进行相关操作，例如创建To
crt文件存放路径；“%JAVA_HOME% ”为jdk安装路径。 在开发环境中（例如IDEA中），右击OozieRestApiMain.java，单击“Run 'OozieRestApiMain.main()'”运行对应的应用程序工程。 使用Oozie客户端执行以下命令： oozie job -oozie
crt文件存放路径；“%JAVA_HOME% ”为jdk安装路径。 在开发环境中（例如IDEA中），右击OozieRestApiMain.java，单击“Run 'OozieRestApiMain.main()'”运行对应的应用程序工程。 使用Oozie客户端执行以下命令： oozie job -oozie
IAM用户同步”右侧的“同步”进行IAM用户同步）。 MRS 3.x及后续版本，登录FusionInsight Manager，具体请参见访问FusionInsight Manager（MRS 3.x及之后版本）。然后选择“集群 > 待操作的集群名称 > 服务 > Hive > 配置
集群中各组件服务正常、各实例正常、无故障、无退服的实例。 安装补丁过程中对现行系统的影响 安装补丁过程中会重启OMS，会导致MRS Manager页面无法访问，预计持续10-20分钟。 安装补丁过程中会影响弹性伸缩以及MRS Manager上正在运行的任务，升级前请确认已经关闭弹性伸缩，并且MRS
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
