检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
kSQL任务执行中会优先执行DPP特性,从而使得AQE特性不生效。集群中DPP特性是默认开启的,因此开启AQE特性的同时,需要将DPP特性关闭。 false spark.sql.optimizer.dynamicPartitionPruning.enabled 动态分区裁剪功能的开关。
当集群开启Kerberos认证时,需要确认是否需要开启Kerberos认证,若确认开启请单击“继续”,若无需开启Kerberos认证请单击“返回”关闭Kerberos认证后再创建集群,集群购买成功后不支持修改Kerberos认证模式。 如果您对价格有疑问,可以单击页面左下角“了解计费详情”,根据计费详情来了解产品价格。
Flink滑动窗口增强 本节主要介绍Flink滑动窗口以及滑动窗口的优化方式。 Flink窗口的详细内容请参见官网:https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/stream/operators/windows
WAL机制,会出现异常恢复时,数据丢失。 因此,在调优Spark Streaming的时候,这些保证数据可靠性的配置项,在生产环境中是不能关闭的。 日志归档调优 参数“spark.eventLog.group.size”用来设置一个应用的JobHistory日志按照指定job个数
置。 当执行引擎需要切换为其它引擎时,需要通过客户端执行set yarn.timeline-service.enabled=false命令关闭“yarn.timeline-service.enabled”参数。 如果需要指定Yarn运行队列,可以在客户端执行set tez.queue
topic */ Boolean isExist(String topic) throws Exception; /** *关闭注册服务器句柄 */ void shutdown() throws Exception; 工程基于以上接口提供了ZookeeperR
配置Kafka数据安全传输协议 本章节内容适用于MRS 3.x及后续版本。 Kafka API简单说明 Producer API 指org.apache.kafka.clients.producer.KafkaProducer中定义的接口,在使用“kafka-console-producer
配置Kafka数据传输加密 操作场景 Kafka客户端和Broker之间的数据传输默认采用明文传输,客户端可能部署在不受信任的网络中,传输的数据可能遭到泄漏和篡改。 该章节仅适用于MRS 3.x及之后版本。 配置Kafka数据传输加密 默认情况下,组件间的通道是不加密的。用户可以配置如下参数,设置安全通道为加密的。
WAL机制,会出现异常恢复时,数据丢失。 因此,在调优Spark Streaming的时候,这些保证数据可靠性的配置项,在生产环境中是不能关闭的。 日志归档调优 参数“spark.eventLog.group.size”用来设置一个应用的JobHistory日志按照指定job个数
apache.hive.jdbc.HiveDriver").newInstance(); 获取JDBC连接,执行HQL,输出查询的列名和结果到控制台,关闭JDBC连接。 连接字符串中的“zk.quorum”也可以使用配置文件中的配置项“spark.deploy.zookeeper.url”来代替。
topic */ Boolean isExist(String topic) throws Exception; /** *关闭注册服务器句柄 */ void shutdown() throws Exception; 工程基于以上接口提供了ZookeeperR
法提交问题 解决Hue界面执行含变量的Hive SQL时变量值下拉框无法使用的问题 解决Hue连接Hive服务查询时session没有正确关闭导致最终无法查询的问题 解决鲲鹏机型Impala查询Kudu表偶现查询卡顿的问题 解决Kudu组件客户端安装问题 解决鲲鹏机型KuduMaster偶现自动重启问题
使用Ranger鉴权,管理员可在安装了Ranger服务后手动启用Ranger鉴权。 安全版本的集群所有组件默认统一对及访问进行鉴权,不支持关闭鉴权功能。 普通模式 普通模式的集群不同组件使用各自原生开源的鉴权行为,详细鉴权机制如表1所示。 在安装了Ranger服务的普通模式集群中
URL格式为:https://oozie实例业务IP:21003/oozie。可登录FusionInsight Manager,选择“集群 > 服务 > Oozie > 实例”,即可获取任一oozie实例的IP地址;单击“配置”,在搜索框中搜索“OOZIE_HTTPS_PORT”,即可查看使用的端口号。
Zone”。单击“Save”保存。如需添加多条策略有效期,可单击按钮添加。如需删除策略有效期,可单击按钮删除。 单击“Add”,在策略列表可查看策略的基本信息。等待策略生效后,验证相关权限是否正常。 如需禁用某条策略,可单击按钮编辑策略,设置策略开关为“Disabled”。 如果不再使用策略,可单击按钮删除策略。 父主题:
准备Flink安全认证 场景说明 在安全集群环境下,各个组件之间的相互通信不能够简单的互通,而需要在通信之前进行相互认证,以确保通信的安全性。 用户在提交Flink应用程序时,需要与Yarn、HDFS等之间进行通信。那么提交Flink的应用程序中需要设置安全认证,确保Flink程序能够正常运行。
全部配置”,在左侧窗口选择“ClickHouseServer(角色)”。 安全模式(开启Kerberos认证)查看参数“https_port”的值即为ClickHouseServer实例节点端口。 普通模式(关闭Kerberos认证)查看参数“http_port”的值即为ClickHouseServer实例节点端口。
Zone”。单击“Save”保存。如需添加多条策略有效期,可单击按钮添加。如需删除策略有效期,可单击按钮删除。 单击“Add”,在策略列表可查看策略的基本信息。等待策略生效后,验证相关权限是否正常。 如需禁用某条策略,可单击按钮编辑策略,设置策略开关为“Disabled”。 如果不再使用策略,可单击按钮删除策略。 父主题:
} } if (connection != null) { try { // 关闭Hbase连接. connection.close(); } catch (IOException e)
cache.size 分配给HFile/StoreFile所使用的块缓存的最大heap(-Xmx setting)的百分比。 当offheap关闭时,默认值为0.25。当offheap开启时,默认值是0.1。 父主题: HBase常见问题