检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
优化数据倾斜场景下的Spark SQL性能 配置场景 在Spark SQL多表Join的场景下，会存在关联键严重倾斜的情况，导致Hash分桶后，部分桶中的数据远高于其他分桶。最终导致部分Task过重，运行很慢；其他Task过轻，运行很快。一方面，数据量大Task运行慢，使得计算性能低
优化小文件场景下的Spark SQL性能 配置场景 Spark SQL的表中，经常会存在很多小文件（大小远小于HDFS块大小），每个小文件默认对应Spark中的一个Partition，也就是一个Task。在很多小文件场景下，Spark会起很多Task。当SQL逻辑中存在Shuffle
spark-sql退出时打印RejectedExecutionException异常栈 问题 执行大数据量的Spark任务（如2T的TPCDS测试套），任务运行成功后，在spark-sql退出时概率性出现RejectedExecutionException的异常栈信息，相关日志如下所示
MetaStore动态分区数超出阈值导致SQL报错 现象描述 执行SparkSQL或HiveSQL命令时，系统报错如下： Number of dynamic partitions created is 2001, which is more than 2000. To slove
父主题： 管理MRS租户资源
Flink Jar作业提交SQL样例程序开发思路 场景说明 当作业的SQL语句修改频繁时，可使用Flink Jar的方式提交Flink SQL语句，以减少用户工作量。 本场景适用于MRS 3.2.1及以后版本。 开发思路 使用当前样例提交并执行指定的SQL语句，多个语句之间使用分号分隔
在“权限配置”区域，单击“用户管理”。 图1 用户管理 在要锁定用户所在行，单击“锁定用户”，锁定用户。 图2 锁定用户 在弹出的提示窗口，单击“确定”完成锁定操作。 父主题： 管理MRS集群用户
配置ClickHouse对接RDS MySQL数据库 ClickHouse面向OLAP场景提供高效的数据分析能力，支持通过MySQL等数据库引擎将远程数据库服务器中的表映射到ClickHouse集群中，后续可以在ClickHouse中进行数据分析。以下操作通过ClickHouse集群和
准备MySQL数据库连接的驱动 操作场景 Loader作为批量数据导出的组件，可以通过关系型数据库导入、导出数据。 前提条件 已准备业务数据。 操作步骤 MRS 3.x之前版本： 从MySQL官网下载MySQL jdbc驱动程序“mysql-connector-java-5.1.21
Spark跨源复杂数据的SQL查询优化 场景描述 出于管理和信息收集的需要，企业内部会存储海量数据，包括数目众多的各种数据库、数据仓库等，此时会面临以下困境：数据源种类繁多，数据集结构化混合，相关数据存放分散等，这就导致了跨源复杂查询因传输效率低，耗时长。 当前开源Spark在跨源查询时
Oozie调度HiveSQL作业报错处理 问题现象 MRS 3.x集群Oozie调度Hive作业任务失败，查看日志HiveSQL，实际上是运行成功的，但Yarn任务总体失败，报错如下： java.io.ioException:output.properties data exceeds
yyyy-MM-dd HH:mm:ss,SSS>|<Log Level><产生该日志的线程名字>|<log中的message>|<日志事件的发生位置> 2022-08-16 12:55:12,109 | INFO | pool-7-thread-1 | zookeeper is secure
clickhouse client --host ClickHouseServer的实例业务IP --secure --port 9440 执行以下命令对接HDFS组件。
解锁MRS集群LDAP管理账户 管理员在LDAP用户和管理账户被锁定时，需要在管理节点解锁集群LDAP用户“cn=pg_search_dn,ou=Users,dc=hadoop,dc=com”以及LDAP管理账户“cn=krbkdc,ou=Users,dc=hadoop,dc=com
父主题： 管理MRS租户资源
to check principle for keytab 提交Storm拓扑后Worker日志为空 提交Storm拓扑后Worker运行异常，日志提示Failed to bind to XXX 使用jstack命令查看进程堆栈提示“well-known file is not secure
修改MRS集群Manager路由表 父主题： 管理MRS集群
父主题： 管理MRS集群用户
父主题： 管理MRS集群用户
管理MRS集群用户 集群用户权限概述 MRS集群用户账号一览表 管理MRS集群角色 管理MRS集群用户组 管理MRS集群用户 解锁MRS集群用户 配置MRS集群用户密码策略 配置MRS集群用户私有属性 父主题： 管理MRS集群
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
