检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
解决的问题 Spark组件问题： 当carbon表元数据文件较大时导致的查询慢问题。 修复carbon在某些场景下，对数据进行压缩时，出现转换为SHORT_INT失败的问题。 spark解析zlib时出错，出现java.io.IOException: unknown compression
Flink安全认证机制说明 Flink认证和加密 Flink集群中，各部件支持认证。 Flink集群内部各部件和外部部件之间，支持和外部部件如YARN、HDFS、ZooKeeprer进行kerberors认证。 Flink集群内部各部件之间，如Flink client和JobMa
pybase只能通过thriftserver1接口连接到HBase。 因此建议客户使用Python直接连接到HBase，具体实现可参考https://github.com/huaweicloud/huaweicloud-mrs-example/blob/mrs-1.8/src/h
更新操作就进行“提示”的规则。 图1 添加ClickHouse SQL防御规则 登录安装有ClickHouse客户端的节点，执行以下命令，切换到客户端安装目录。 cd /opt/hadoopclient 执行以下命令，配置环境变量。 source bigdata_env 如果当前
ode的问题。 解决调用MRS的作业管理接口API，返回的Spark日志的url和实际不一致的问题。 解决Spark JDBCServer切换成多实例模式后shuffle数据会不断累积，导致磁盘被打满的问题。 解决Spark InsertOverwrite数据不一致问题。 解决S
GC次数小于或等于阈值时，告警恢复。 MRS 3.3.0-LTS及之后的版本中，Spark2x服务改名为Spark，服务包含的角色名也有差异，例如JDBCServer2x变更为JDBCServer。相关涉及服务名称、角色名称的描述和操作请以实际版本为准。 告警属性 告警ID 告警级别 是否自动清除 43017 重要
否 distributed_product_mode 默认SQL中的子查询不允许使用分布式表，修改为local表示将子查询中对分布式表的查询转换为对应的本地表。 deny 根据场景定： deny/local/global/allow 否 background_pool_size 后台用于merge的线程池大小。
的节点。 切换到Kafka客户端安装目录，例如“/opt/client”。 cd /opt/client 执行以下命令，配置环境变量。 source bigdata_env 执行以下命令，进行用户认证（普通模式跳过此步骤）。 kinit 组件业务用户 执行以下命令，切换到Kafka客户端安装目录。
Flink安全认证机制说明 Flink认证和加密 Flink集群中，各部件支持认证。 Flink集群内部各部件和外部部件之间，支持和外部部件如YARN、HDFS、ZooKeeprer进行Kerberors认证。 Flink集群内部各部件之间，如Flink client和JobMa
ibm.jsse2.overrideDefaultTLS”为“true”，设置后可以同时支持TLS V1.0/V1.1/V1.2，详情可参考https://www.ibm.com/support/knowledgecenter/zh/SSYKE2_8.0.0/com.ibm.java.security
0之前版本：https://hadoop.apache.org/docs/r3.1.1/hadoop-project-dist/hadoop-common/SecureMode.html#Data_Encryption_on_RPC MRS 3.2.0及之后版本：https://hadoop
null); if (result.orElse(new ResultModel()).getStatusCode() == HttpStatus.SC_CREATED) { LOG.info("Create namespace '{}' success
null); if (result.orElse(new ResultModel()).getStatusCode() == HttpStatus.SC_CREATED) { LOG.info("Create namespace '{}' success
需要查看完整日志，可以通过将url里面的stdout或者stderr去掉，然后就可以直接访问这个executor的所有日志。 例如： https://<EIP>:9022/component/Yarn/NodeManager/15/node/containerlogs/conta
0之前版本：https://hadoop.apache.org/docs/r3.1.1/hadoop-project-dist/hadoop-common/SecureMode.html#Data_Encryption_on_RPC MRS 3.2.0及之后版本：https://hadoop
客户端直接面向用户，可通过Java API、Shell API、 REST API或者Web UI访问Oozie服务端。 Oozie WebUI界面 通过“https://Oozie服务器IP地址:21003/oozie”登录Oozie WebUI界面。 父主题： Oozie应用开发概述
x及后续版本，登录FusionInsight Manager，然后选择“集群 > 服务 > Kafka > 实例”。 单击指定的Broker实例并切换到“实例配置”。 在搜索框中输入“log.dirs”进行搜索，将新目录添加到配置项“log.dirs”的默认值后面，多个目录使用逗号分隔。
x及后续版本，登录FusionInsight Manager，然后选择“集群 > 服务 > Kafka > 实例”。 单击指定的Broker实例并切换到“实例配置”。 在搜索框中输入“log.dirs”进行搜索，将新目录添加到配置项“log.dirs”的默认值后面，多个目录使用逗号分隔。
eption异常。 处理方法： 注：下面所说的$SPAKR_HOME默认是/opt/client/Spark/spark 解决方案1：手动切换日志配置文件。修改文件$SPARK_HOME/conf/spark-defaults.conf中spark.driver.extraJavaOptions的配置项-Dlog4j
macros where macro='id'; 登录ZooKeeper客户端所在主机节点，执行以下命令登录ZooKeeper客户端工具。 切换到客户端安装目录。 例如：cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 执行以下命令进行用户认证。(普通模式跳过此步骤)
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
