检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
常见的场景是使用--files上传了user.keytab，然后使用--keytab又指定了同一个文件，导致一个文件多次被上传。 处理步骤 问题1： 重新kinit一个用户并修改相应的配置参数。 问题2： 查看hadoop相关的配置项是否正确，查看spark的conf目录下的core-site.xml，hdfs-site
性申请executor，因此CarbonData可获得所有节点上的executor。 为了优化并行数据处理及并行读取块数据，运用动态分配的用户需配置以下特性。 使用参数“spark.dynamicAllocation.executorIdleTimeout”并将此参数值设置为15min（或平均查询时间）。
自定义Flink log4j日志输出级别不生效 用户问题 MRS 3.1.0集群自定义Flink log4j日志级别不生效。 问题现象 在使用MRS 3.1.0集群Flink数据分析时，将“$Flink_HOME/conf”目录下的“log4j.properties”文件中日志级别修改为INFO级别日志。
性申请executor，因此CarbonData可获得所有节点上的executor。 为了优化并行数据处理及并行读取块数据，运用动态分配的用户需配置以下特性。 使用参数“spark.dynamicAllocation.executorIdleTimeout”并将此参数值设置为15min（或平均查询时间）。
点。增加任务的并行度，充分利用集群机器的计算能力，一般并行度设置为集群CPU总和的2-3倍。 操作步骤 并行度可以通过如下三种方式来设置，用户可以根据实际的内存、CPU、数据以及应用程序逻辑的情况调整并行度参数。 在会产生shuffle的操作函数内设置并行度参数，优先级最高。 testRDD
行处理，每个task读取若干个shuffle输出文件，再对这部分任务的Join结果进行Union操作，以达到消除数据倾斜的效果 配置参数 登录FusionInsight Manager系统，选择“集群 > 服务 > Spark2x > 配置”，单击“全部配置”，搜索以下参数。 参数
行处理，每个task读取部分shuffle输出文件，再对这部分任务的Join结果进行Union操作，以达到消除数据倾斜的效果。 配置参数 登录FusionInsight Manager系统，选择“集群 > 服务 > Spark2x > 配置”，单击“全部配置”，搜索以下参数。 参数
Broker进程停止日志。 checkavailable.log Kafka服务健康状态检查日志。 checkInstanceHealth.log Broker实例健康状态检测日志。 kafka-authorizer.log Broker鉴权日志。 kafka-root.log Broker基础日志。
点。增加任务的并行度，充分利用集群机器的计算能力，一般并行度设置为集群CPU总和的2-3倍。 操作步骤 并行度可以通过如下三种方式来设置，用户可以根据实际的内存、CPU、数据以及应用程序逻辑的情况调整并行度参数。 在会产生shuffle的操作函数内设置并行度参数，优先级最高。 testRDD
topic中获取消息的角色称为Consumer。 Broker Kafka集群中的每一个节点服务器称为Broker。 keytab file 存放用户信息的密钥文件。应用程序采用此密钥文件在集群中进行API方式认证。 父主题： Kafka开发指南（普通模式）
over inner join、aggregate over union all等。为应对不同应用场景的特殊需求，对所有下推模块设计开关功能，用户可以自行配置是否应用上述查询下推的增强。 表1 跨源查询增加特性对比 模块 增强前 增强后 aggregate 不支持aggregate下推
点。增加任务的并行度，充分利用集群机器的计算能力，一般并行度设置为集群CPU总和的2-3倍。 操作步骤 并行度可以通过如下三种方式来设置，用户可以根据实际的内存、CPU、数据以及应用程序逻辑的情况调整并行度参数。 在会产生shuffle的操作函数内设置并行度参数，优先级最高。 testRDD
TBLPROPERTIES('SORT_COLUMNS'='column1') 在执行该命令后，新的导入会使用新的SORT_COLUMNS配置值。 用户可以根据查询的情况来调整SORT_COLUMNS，但是不会直接影响旧的数据。所以对历史的segments的查询性能不会受到影响，因为历史的
spark-shell执行SQL跨文件系统load数据到Hive表失败 用户问题 使用spark-shell命令执行SQL或者spark-submit提交的Spark任务里面有SQL的load命令，并且原数据和目标表存储位置不是同一套文件系统，上述两种方式MapReduce任务启动时会报错。
cluster_admin_secret 否 String 参数解释： 配置MRS Manager管理员用户的密码。 约束限制： 不涉及 取值范围： 密码长度应在8～26个字符之间 不能与用户名或者倒序用户名相同 必须包含如下4种字符的组合 至少一个小写字母 至少一个大写字母 至少一个数字 至少一个特殊字符：
over inner join、aggregate over union all等。为应对不同应用场景的特殊需求，对所有下推模块设计开关功能，用户可以自行配置是否应用上述查询下推的增强。 表1 跨源查询增加特性对比 模块 增强前 增强后 aggregate 不支持aggregate下推
HDFS主备倒换运行日志。 hdfs-router-admin.log 管理挂载表操作的运行日志。 threadDump-<DATE>.log 实例进程堆栈日志。 Tomcat日志 hadoop-omm-host1.out，httpfs-catalina.<DATE>.log，httpfs-host-manager
$Sqoop_Home：目的集群上Sqoop的安装目录。 <ip>：目的集群上数据库的IP地址。 <table_name>：待恢复的表名称。 <passwd>：hive用户的密码。 <export_from>：元数据在目的集群的HDFS地址。 命令中如果携带认证密码信息可能存在安全风险，在执行命令前建议关闭系
topic中获取消息的角色称为Consumer。 Broker Kafka集群中的每一个节点服务器称为Broker。 keytab file 存放用户信息的密钥文件。应用程序采用此密钥文件在集群中进行API方式认证。 父主题： Kafka开发指南（安全模式）
Topic中获取消息的角色称为Consumer。 Broker Kafka集群中的每一个节点服务器称为Broker。 keytab file 存放用户信息的密钥文件。应用程序采用此密钥文件在集群中进行API方式认证。 父主题： Kafka开发指南（安全模式）
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
