检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Spark SQL建表底层调用的是Hive的接口，其建表时会在“/user/hive/warehouse”目录下新建一个以表名命名的目录，因此要求用户具备“/user/hive/warehouse”目录的读写、执行权限或具有Hive的group权限。 “/user/hive/warehouse”目录可通过hive
pen Geospatial Consortium（OGC）的OpenGIS规范。因此，许多HetuEngine Geospatial功能要求或更准确地说是假设要操作的几何图形既简单又有效。例如，计算在多边形外部定义了孔的多边形的面积，或者从非简单边界线构造多边形是没有意义的。
特性优化了Memstore的数据结构，可以有效减少数据写入场景下的内存占用，降低GC频率，优化数据写入性能。若实际业务场景中对数据写入性能要求较高时，建议开启此特性。 本章节内容仅适用于MRS 3.3.1及之后版本。 操作步骤 登录集群的FusionInsight Manager界面，选择“集群
配置RSGroup管理RegionServer资源 操作场景 HBase服务的数据节点较多，需要根据不同的业务规模将数据节点资源分配给特定的业务，从而达到资源独占使用的目的。当AZ容灾特性被开启时，为了保证AZ容灾生效，保障业务可靠性，在为RSGroup分配RegionServe
切换Hive执行引擎为Tez 操作场景 Hive支持使用Tez引擎处理数据计算任务，用户在执行任务前可手动切换执行引擎为Tez。 前提条件 集群已安装Yarn服务的TimelineServer角色，且角色运行正常。 客户端切换执行引擎为Tez 安装并登录Hive客户端，具体操作请参考Hive客户端使用实践。
配置Spark动态脱敏 本章节仅适用于MRS 3.3.1-LTS及之后版本。 管理面提交作业方式不支持开启动态脱敏特性。 配置场景 Spark动态脱敏开启后，配置脱敏列的数据可以参与计算，计算结果输出时不可见，在集群内脱敏策略会根据血缘关系自动传递，更大的发挥数据的价值同时，保障数据的隐私性。
FlinkSQL写入JDBC数据支持ignoreDelete 本章节适用于MRS 3.3.0及以后版本。 使用场景 FlinkSQL写入JDBC数据时可以过滤掉DELETE和UPDATE_BEFORE状态的数据。 使用方法 在创建的JDBC Connector Sink流表中添加“filter
手动指定运行Yarn任务的用户 配置场景 目前YARN支持启动NodeManager的用户运行所有用户提交的任务，也支持以提交任务的用户运行任务。 配置描述 在Manager系统中，选择“集群 > 待操作集群的名称 > 服务 > Yarn > 配置”，选择“全部配置”。在搜索框中输入参数名称。
配置RSGroup管理RegionServer资源 操作场景 HBase服务的数据节点较多，需要根据不同的业务规模将数据节点资源分配给特定的业务，从而达到资源独占使用的目的。当AZ容灾特性被开启时，为了保证AZ容灾生效，保障业务可靠性，在为RSGroup分配RegionServe
查看ClickHouse慢查询语句 操作场景 在ClickHouse上执行SQL语句查询时，常因为SQL语句的分区、where条件以及索引等设置不合理问题，导致SQL查询很慢，影响数据库的整体性能。针对该场景，MRS提供了ClickHouse慢查询语句的监控功能。 正在进行的慢查询
配置ClickHouse支持事务能力 本章节适用于MRS 3.3.0-LTS及之后版本。 操作场景 原子性是指事务是一个不可分割的工作单元，一个事务可以包含多个操作，这些操作要么全部执行，要么全都不执行。但是由于事务在执行过程中，可能出现一些意外，例如用户回滚了事务、连接断开、断电等，导致事务被中断执行。
Flink作业大小表Join能力增强 本章节适用于MRS 3.3.0及以后版本。 Flink作业大小表Join Flink作业双流Join时存在大小表数据，通过内核broadcast策略确保小表数据发送到Join的task中，通过rebalance策略将大表数据打散到Join中，提高Flink
Flink Kafka样例程序开发思路 场景说明 假定某个Flink业务每秒就会收到1个消息记录。 基于某些业务要求，开发的Flink应用程序实现功能：实时输出带有前缀的消息内容。 数据规划 Flink样例工程的数据存储在Kafka组件中。向Kafka组件发送数据（需要有Kafk
Flink Kafka样例程序开发思路 场景说明 假定某个Flink业务每秒就会收到1个消息记录。 基于某些业务要求，开发的Flink应用程序实现功能：实时输出带有前缀的消息内容。 数据规划 Flink样例工程的数据存储在Kafka组件中。向Kafka组件发送数据（需要有Kafk
配置NodeManager角色实例使用的资源 操作场景 如果部署NodeManager的各个节点硬件资源（如CPU核数、内存总量）不一样，而NodeManager可用硬件资源设置为相同的值，可能造成性能浪费或状态异常，需要修改各个NodeManager角色实例的配置，使硬件资源得到充分利用。
配置Spark HA增强高可用 配置多主实例模式 配置Spark多租户模式 配置多主实例与多租户模式切换 父主题： Spark Core企业级能力增强
配置Spark Native引擎 本章节仅适用于MRS 3.3.0及之后版本。 配置场景 Spark Native引擎是通过使用向量化的C++加速库，实现对Spark算子性能加速的一种技术方案。传统的SparkSQL是基于行式数据，通过JVM的codegen来实现查询加速的，由于
配置NodeManager角色实例使用的资源 操作场景 如果部署NodeManager的各个节点硬件资源（如CPU核数、内存总量）不一样，而NodeManager可用硬件资源设置为相同的值，可能造成性能浪费或状态异常，需要修改各个NodeManager角色实例的配置，使硬件资源得到充分利用。
配置Hive自读自写SQL防御规则 操作场景 Hive支持对自读自写的SQL语句进行拦截。如果一条SQL语句中查询的表、分区或目录与插入的表、分区或目录一致，且以覆盖的方式插入查询的结果数据，便可判定存在自读自写的场景，用户可以在SQL防御界面通过添加规则ID为“dynamic_0004”的防御规则开启该拦截功能。
配置Hive Beeline高可靠性 操作场景 在批处理任务运行过程中，beeline客户端由于网络异常等问题断线时，Hive能支持beeline在断线前已经提交的任务继续运行。当再次运行该批处理任务时，已经提交过的任务不再重新执行，直接从下一个任务开始执行。 在批处理任务运行过
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
