检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MRS集群内属于同一个用户组，并且权限也相同的两个用户A和B，同时绑定了queueA以及queueB两个队列。 为什么用户A的任务一直提交到queueA队列，用户B的任务却一直提交到queueB队列？ 答： MRS集群内用户绑定了多个队列时，系统在提交任务时会随机选择队列，建议合理设置用户的队列权限，最好一个用户只绑定一个队列。
MRS各集群版本配套的组件及版本号信息如表1所示。 Hadoop组件包含HDFS、Yarn、Mapreduce服务，DBService、ZooKeeper、KrbServer及LdapServer等集群内部使用的组件，在创建集群时的组件列表中不呈现。 MRS组件的版本号通常与组件开源版本号保持一致。
Hadoop开源软件的基础上，在主要业务部件的可靠性、性能调优等方面进行了优化和提升。 系统可靠性 管理节点均实现HA Hadoop开源版本的数据、计算节点已经是按照分布式系统进行设计的，单节点故障不影响系统整体运行；而以集中模式运作的管理节点可能出现的单点故障，就成为整个系统可靠性的短板。
2个关于database的public组策略， 所有用户都属于public组，默认给public组配有default数据库的创表和所有其他数据库的create权限，因此默认所有的用户都有show databases和show tables的权限，如果不想让某些用户有show databases和show
MRS集群支持退服、入服的角色实例包括： HDFS的DataNode角色实例 Yarn的NodeManager角色实例 HBase的RegionServer角色实例 ClickHouse的ClickHouseServer角色实例（MRS 3.1.2及之后版本支持） IoTDB的IoTDBServer角色实例
kafkasource; 创建的cksink表中username、password参数填写的用户为具有ClickHouse相应表权限的用户及密码，详见创建ClickHouse角色。 Kafka端口号： 集群的“认证模式”为“安全模式”时为“sasl.port”的值，默认为“21007”。 集群的“认证模
问题背景与现象 在退服DataNode过程中，一直提示退服失败。 原因分析 查看退服失败报错日志，日志中显示总计1564个块，有一个块一直没法被备份。 登录集群Master节点，进入HDFS客户端，执行hdfs fsck /命令查看损坏的块，并记录文件路径。 例如：/tmp/hive
'binary:<value>')"} 回答 由于HBase的可扩展性，在查询表的时候，默认情况下会匹配被查询列的所有版本的值，即使被删除或被修改的值也可以查询出来。对于命中列失败的行（即在某一行中不存在该列），HBase会将该行查询出来。 如果用户仅需查询该表的最新值和命中列成功的行，可使用如下查询语句： scan
一个任务一直在等待，后续任务一直在排队。从现象上看，就是如问题中的图1中所示，会有两个任务一直在等待。 因此，当Web出现两个任务一直在等待的情况，首先检查Spark的核数是否大于Receiver的个数。 Receiver在Spark Streaming中是一个常驻的Spark
Filter主要在Scan和Get过程中进行数据过滤，通过设置一些过滤条件来实现，如设置RowKey、列名或者列值的过滤条件。 代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“HBaseExample”类的testFilterList方法中。
rver在启动的时候，会启动一个SparkSQL的应用程序，而通过JDBC连接进来的客户端共同分享这个sparkSQL应用程序的资源，也就是说不同的用户之间可以共享数据。ThriftServer启动时还会开启一个侦听器，等待JDBC客户端的连接和提交查询。所以，在配置Thrift
SQL无法查询到Parquet类型的Hive表的新插入数据 问题 为什么通过Spark SQL无法查询到存储类型为Parquet的Hive表的新插入数据？主要有以下两种场景存在这个问题： 对于分区表和非分区表，在Hive客户端中执行插入数据的操作后，会出现Spark SQL无法查询到最新插入的数据的问题。 对于分区表，在Spark
有210000个map和10000个reduce的HBase BulkLoad任务运行失败 问题 HBase bulkLoad任务（单个表有26T数据）有210000个map和10000个reduce，任务失败。 回答 ZooKeeper IO瓶颈观测手段： 通过Manager的监控页面查看
修改“kafka-logs”目录下的“recovery-point-offset-checkpoint”和“replication-offset-checkpoint”文件（两个文件做同样的修改）。 减少文件中第二行的数字（如果移出多个目录，则减少的数字为移出的目录个数）。 删除待移出的Partition所在的行（行结构为“Topic名称
'binary:<value>')"} 回答 由于HBase的可扩展性，在查询表的时候，默认情况下会匹配被查询列的所有版本的值，即使被删除或被修改的值也可以查询出来。对于命中列失败的行（即在某一行中不存在该列），HBase会将该行查询出来。 如果用户仅需查询该表的最新值和命中列成功的行，可使用如下查询语句： scan
code=0) 回答 Spark SQL建表底层调用的是Hive的接口，其建表时会在“/user/hive/warehouse”目录下新建一个以表名命名的目录，因此要求用户具备“/user/hive/warehouse”目录的读写、执行权限或具有Hive的group权限。 “/user/hiv
在客户端安装节点的/tmp目录下残留了很多blockmgr-开头和spark-开头的目录 问题 系统长时间运行后，在客户端安装节点的/tmp目录下，发现残留了很多blockmgr-开头和spark-开头的目录。 图1 残留目录样例 回答 Spark任务在运行过程中，driver会
保留的上限值（当前默认值为1000个），旧的UI数据才会在内存中被清除。 因此，在将旧的UI数据从内存中清除之前，UI数据会占用大量内存，从而导致执行10T的TPCDS测试套时出现Driver内存不足的现象。 规避措施： 根据业务需要，配置合适的需要保留的Job和Stage的UI数据个数，即配置“spark
生成Flume服务端和客户端的配置文件 该操作指导安装工程师在集群及Flume服务安装完成后，分别配置Flume服务的服务端和客户端参数，使其可以正常工作。 本配置默认集群网络环境是安全的，数据传输过程不需要启用SSL认证。如需使用加密方式，请参考配置Flume加密传输数据采集任务。
Impala集群查询数据的时候出现bad version和invalid TType错误 问题 Impala集群查询数据的时候出现bad version和invalid TType错误，如何解决？ 回答 通常为Impala元数据未更新导致的，使用invalidate metadata
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
