检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
场景说明 当前开源社区提供了PartialUpdateAvroPayload机制实现部分列更新，但该功能在多流更新，每条流更新不同列场景下会出现数据相互覆盖的问题。 通过引入sequence组的概念，Hudi可以很好的解决该问题，实现真正的部分更新。
MRS集群Kerberos认证介绍 Hadoop社区版本提供两种认证方式Kerberos认证（安全模式）和Simple认证（普通模式），在创建集群时，MRS支持配置是否启用Kerberos认证，集群创建完成后不支持修改。
MRS提供了各组件的常见业务场景样例程序，开发者用户可基于样例工程进行相关数据应用的开发与编译，样例工程依赖的jar包直接通过华为云开源镜像站下载，其他社区开源jar包可从各Maven公共仓库下载。 开发者能力要求 您已经对大数据领域各组件具备一定的认识。
MRS提供了各组件的常见业务场景样例程序，开发者用户可基于样例工程进行相关数据应用的开发与编译，样例工程依赖的jar包直接通过华为云开源镜像站下载，其他社区开源jar包可从各Maven公共仓库下载。 开发者能力要求 您已经对大数据各组件具备一定的认识。
MRS提供了各组件的常见业务场景样例程序，开发者用户可基于样例工程进行相关数据应用的开发与编译，样例工程依赖的jar包直接通过华为云开源镜像站下载，其他社区开源jar包可从各Maven公共仓库下载。 开发者能力要求 您已经对大数据领域各组件具备一定的认识。
Spark2x多主实例 背景介绍 基于社区已有的JDBCServer基础上，采用多主实例模式实现了其高可用性方案。集群中支持同时共存多个JDBCServer服务，通过客户端可以随机连接其中的任意一个服务进行业务操作。
添加MRS组件自定义参数 MRS集群内各个大数据组件通常支持开源社区的所有参数，其中部分常用场景的配置参数支持在MRS管理控制台或者Manager中进行修改，且部分组件的客户端可能不包含开源特性的所有参数。
Spark HA方案介绍 Spark多主实例HA原理与实现方案 基于社区已有的JDBCServer基础上，采用多主实例模式实现了其高可用性方案。集群中支持同时共存多个JDBCServer服务，通过客户端可以随机连接其中的任意一个服务进行业务操作。
Hive开源增强特性：支持开启Transform功能 Hive开源社区版本禁止Transform功能。 MRS Hive提供配置开关，Transform功能默认为禁止，与开源社区版本保持一致。
该规范中与开源社区不一致的点，以本文档为准。 参考资料 Flink开源社区开发文档：https://nightlies.apache.org/flink/flink-docs-stable/。 父主题： Flink应用开发规范
为保证Hive服务的高可用性、用户数据的安全及访问服务的可控制，在开源社区的Hive-3.1.0版本基础上，Hive新增如下特性： 数据文件加密机制：开源社区的Hive特性，请参见https://cwiki.apache.org/confluence/display/hive/designdocs
开源社区的Hive特性，请参见https://cwiki.apache.org/confluence/display/hive/designdocs。 父主题： Hive应用开发概述
为保证Hive服务的高可用性、用户数据的安全及访问服务的可控制，在开源社区的Hive-3.1.0版本基础上，Hive新增如下特性： 数据文件加密机制。
业界主流大数据发行版均支持Sqoop的安装，如果是自建的社区版大数据集群，可下载社区版Sqoop进行安装。借助Sqoop来解耦导出的元数据与关系型数据库的强依赖，将Hive元数据导出到HDFS上，与表数据一同迁移后进行恢复。 参考步骤如下： 在源集群上下载并安装Sqoop工具。
“--zookeeper” 和 “--bootstrap-server”两种方式的区别如下： “--zookeeper”方式由客户端生成副本分配方案，社区从一开始就支持这种方式，为了降低对Zookeeper组件的依赖，社区将在后续版本中删除对这种方式的支持。
ClickHouse开发接口简介 ClickHouse由C++语言开发，定位为DBMS，支持HTTP和Native TCP两种网络接口协议，支持JDBC、ODBC等多种驱动方式，推荐使用社区版本的clickhouse-jdbc来进行应用程序开发。
Ranger统一鉴权特性 特性说明：在Kafka 2.4.0之前版本，Kafka组件仅支持社区自带的SimpleAclAuthorizer鉴权插件，Kafka 2.4.0及之后版本，MRS Kafka同时支持Ranger鉴权插件和社区自带鉴权插件。
Ranger统一鉴权特性 特性说明：在Kafka 2.4.0之前版本，Kafka组件仅支持社区自带的SimpleAclAuthorizer鉴权插件，Kafka 2.4.0及之后版本，MRS Kafka同时支持Ranger鉴权插件和社区自带鉴权插件。
增强特性 对比开源社区，华为还提供了两个增强特性，JDBCServerHA方案和设置JDBCServer连接的超时时间。
增强特性 对比开源社区，华为还提供了两个增强特性，JDBCServerHA方案和设置JDBCServer连接的超时时间。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
