检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在MRS Manager界面选择“系统设置 > 用户管理”，在用户名中选择flinkuser，单击操作中下载认证凭据文件，保存后解压得到用户的keytab文件与krb5.conf文件，并将krb5.conf文件拷贝到客户端机器的/etc目录下。
“机机”用户需要下载keytab文件，“人机”用户第一次登录时需修改密码。（普通模式不涉及） 在修改集群域名后，需要重新下载客户端，以保证客户端配置文件中kerberos.domain.name配置为正确的服务端域名。
根据输入数据的大小，优化“客户端安装路径/Yarn/config/mapred-site.xml”文件中的如下参数： “mapreduce.reduce.memory.mb” “mapreduce.reduce.java.opts” 例如：如果10个mapper的数据大小为5GB，
此错误通常发生在使用向后不兼容的演进方式删除某些列如“col1”后，更新parquet文件中以旧的schema写入的列“col1”，在这种情况下，parquet尝试在传入记录中查找所有当前字段，当发现“col1”不存在时，发生上述异常。
HDFS应用开发简介 HDFS简介 HDFS（Hadoop Distribute FileSystem）是一个适合运行在通用硬件之上，具备高度容错特性，支持高吞吐量数据访问的分布式文件系统，适合大规模数据集应用。 HDFS适用于如下场景。
可以通过修改log4j.properties文件来实现，如： # Define some default values that can be overridden by system properties opentsdb.root.logger=INFO,console # Define
可以通过修改log4j.properties文件来实现，如： # Define some default values that can be overridden by system properties opentsdb.root.logger=INFO,console # Define
在使用客户端前，需要先下载并更新客户端配置文件，确认Manager的主管理节点后才能使用客户端。 操作步骤 以客户端安装用户，登录安装HBase客户端的节点。 进入HBase客户端安装目录： 例如：cd /opt/client 执行以下命令配置环境变量。
选择要查看的节点日志文件，再选择JStack或者Heap按钮，其中JStack对应的是堆栈信息，Heap对应的是堆信息： 方式二：通过修改自定义参数查看进程堆栈 进入Storm服务参数配置界面。
chown omm:wheel 挂载点 例如：chown -R omm:wheel /srv/BigData/hadoop/data1 在fstab文件中新增新磁盘UUID信息。 使用blkid命令查看新磁盘的UUID。
上传监控指标文件失败。 处理步骤 联系运维人员查看MRS Manager系统与服务器网络连接是否正常。 是，执行3。 否，执行2。 联系运维人员恢复网络连接，然后检查告警是否恢复。 是，执行完毕。 否，执行3。
该线程池为FE端ThriftServer的工作线程池，对应“fe.conf”文件中的“rpc_port”，用于和BE进行交互。 当系统检查到FE中和BE交互的线程池中正在排队的任务数低于阈值时，告警清除。
本地snapshot 将在本地集群中创建的表做一个快照，是一个空快照（刚创建的表没有数据），用于在Backend上产生对应的快照目录，接收从远端仓库下载的快照文件。 下载快照 远端仓库中的快照文件，会被下载到对应的生成的快照目录中，由各个Backend并发完成。
在RegionServer的配置文件“hbase-site.xml”中需要调整如下对应的内存分配参数。 表1 RegionServer内存调整参数 参数 描述 默认值 GC_OPTS 在启动参数中给RegionServer分配的初始内存和最大内存。
根据输入数据的大小，优化“客户端安装路径/Yarn/config/mapred-site.xml”文件中的如下参数： “mapreduce.reduce.memory.mb” “mapreduce.reduce.java.opts” 例如：如果10个mapper的数据大小为5GB，
MergeTree引擎，数据是以分区目录的形式进行组织存储的，在进行的数据查询时，使用分区可以有效跳过无用的数据文件，减少数据的读取。 MergeTree引擎会根据索引字段进行数据排序，并且根据index_granularity的配置生成稀疏索引。
使用Hash Shuffle时，通过设置spark.shuffle.consolidateFiles为true，来合并shuffle中间文件，减少shuffle文件的数量，减少文件IO操作以提升性能。最终文件数为reduce tasks数目。
使用Hash Shuffle时，通过设置spark.shuffle.consolidateFiles为true，来合并shuffle中间文件，减少shuffle文件的数量，减少文件IO操作以提升性能。最终文件数为reduce tasks数目。 父主题： Spark Core调优
多集群互信场景下，以符合跨域访问的用户身份，使用从其中一个manager系统中获取到的用于Kerberos安全认证的keytab文件和principal文件，以及多个Manager系统各自的客户端配置文件，可实现一次认证登录后访问调用多集群的HBase服务。
集群已规划并添加“人机”用户，并获取认证凭据文件。请参见创建用户（MRS 3.x及之后版本）和下载MRS集群用户认证凭据文件。 配置集群外节点用户访问普通模式集群资源 以root用户登录到需要添加用户的节点。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
