检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
标NameService不同，在二次合并时需要手动清理放入回收站的原表文件，否则会导致合并失败。 此工具应用客户端配置，需要做性能调优可修改客户端配置文件的相关配置。 shuffle设置 对于合并功能，可粗略估计合并前后分区数的变化： 一般来说，旧分区数>新分区数，可设置shuf
否自动消除。 是，处理结束。 否，执行14 查看该NameNode配置参数是否合理。 在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务 > HDFS > 配置”，搜索配置项“dfs.namenode.handler.count”，查看其
All Maven Projects”，进行maven项目依赖import。 图1 reimport projects 编译运行程序。 放置好配置文件，并修改代码匹配登录用户后，文件列表如图2所示。 图2 hbase-example待编译目录列表 编译方式有以下两种： 方法一 选择“Maven
系统当前指标取值满足自定义的告警设置条件。 对系统的影响 数据库进入只读模式，业务数据丢失。 数据库进入只读模式，上层服务写业务操作相关数据丢失。 可能原因 磁盘配置无法满足业务需求，磁盘使用率达到上限。 处理步骤 检查磁盘使用率是否达到上限 在FusionInsight Manager，选择“集群 >
将存在连接泄露的进程关掉，观察界面上告警是否消除？ 是，处理完毕。 否，执行1.l。 在MRS集群详情页面，单击“组件管理 > ZooKeeper > 服务配置 > 全部配置 > quorumpeer > Performance”中，将“maxCnxns”调整到20000或更多。 界面上告警是否消除？ 是，处理完毕。
rs中已存在。 Spark Launcher的方式依赖Spark客户端，即运行程序的节点必须已安装Spark客户端，且客户端可用。运行过程中依赖客户端已配置好的环境变量、运行依赖包和配置文件， 在Spark应用程序运行节点，执行如下命令使用Spark Launcher方式提交。之后，可通过Spark
Manager。 选择“集群 > 服务 > Ranger > 配置”。 选择“全部配置”。 左边菜单栏中选择所需修改的角色所对应的日志菜单。 选择所需修改的日志级别。 单击“保存”，在弹出窗口中单击“确定”使配置生效。 配置完成后立即生效，不需要重启服务。 日志格式 Ranger的日志格式如下所示：
原因：弹出的URL地址（如https://<hostname>:20026/Spark2x/JobHistory2x/xx/history/application_xxx/jobs/），其中的<hostname>没有在Windows系统的hosts文件中添加域名信息，导致DNS查找失败无法显示此网页。 解决措施： 建
在Manager界面创建用户并开通其HDFS、YARN、Kafka和Hive权限。 根据所用的开发语言安装并配置IntelliJ IDEA及JDK等工具。 已完成Spark2x客户端的安装及客户端网络连接的配置。 对于Spark SQL程序，需要先在客户端启动Spark SQL或Beeline以输入SQL语句。
r.keytab文件与krb5.conf文件。用于在样例工程中进行安全认证。 图5 下载认证凭据 参考信息 如果修改了组件的配置参数，需重新下载客户端配置文件并更新运行调测环境上的客户端。 父主题： 准备Hive应用开发环境
删除不完，就会导致操作失败。 超时时间可通过登录FusionInsight Manager，选择“集群 > 服务 > Hive > 配置 >全部配置 > MetaStore（角色） > 服务初始化”查看，“hive.metastore.client.socket.timeout”
生成Java代码的功能，从而确保语句的正常执行。即在客户端的“spark-defaults.conf”配置文件中将“spark.sql.codegen.wholeStage”配置为“false”。 父主题： SQL和DataFrame
IDEA工具。 Storm的运行环境即Storm客户端，请根据指导完成客户端的安装和配置。 准备Storm应用开发和运行环境 准备工程 Storm提供了不同场景下的样例程序，您可以导入样例工程进行程序学习。 导入并配置Storm样例工程 根据场景开发拓扑 提供了Storm拓扑的构造和Spout/Bolt开发过程。
later. 原因分析 Hue浮动IP故障。 处理步骤 登录Manager页面，选择“集群 > 服务 > Hue > 配置”，搜索“HUE_FLOAT_IP”，查看Hue当前配置的浮动IP。 连接到Hue主实例节点，检查主实例是否绑定浮动IP网卡。 ifconfig | grep -A2
GC的时间过长，超出了RM与ZK之间定期交互时长的阈值，就会出现主备倒换。 登录FusionInsight Manager，选择“集群 > 服务 > Yarn > 配置 > 全部配置”，在左侧选择“Yarn > 自定义”，在“yarn.yarn-site.customized.configs”中添加“yarn.resourcemanager
ervice上，并由DBService提供这些元数据的备份与恢复功能。 DBService结构 DBService组件在集群中采用主备模式部署两个DBServer实例，每个DBServer实例包含三个模块：HA、Database和FloatIP。 其逻辑结构如图1所示。 图1 DBService结构
否，执行6。 在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务> Loader > 配置”，选择“全部配置”，在搜索栏里搜索“LOADER_GC_OPTS”参数。将“-XX:MaxDirectMemorySize”的值根据实际情况调大，并单击“保存”，单击“确定”。
JobHistory2x的Full GC次数 在FusionInsight Manager首页，选择“集群 > 服务 > Spark2x > 配置”，单击“全部配置”，选择“JobHistory2x > 默认”，将“SPARK_DAEMON_MEMORY”参数的默认值为4G，可根据如下原则进行调整：若偶现告警，可以按0
一个ZooKeeper集群的客户端，用来监控NameNode的状态信息。ZKFC进程仅在部署了NameNode的节点中存在。HDFS NameNode的Active和Standby节点均部署有zkfc进程。 HDFS NameNode的ZKFC连接到ZooKeeper，把主机名等
“用户组”需加入“hive”、“supergroup”用户组。 下载并安装集群客户端，用于运行HCatalog程序，例如安装目录为“/opt/client”。 获取样例工程 通过开源镜像站获取样例工程。 下载样例工程的Maven工程源码和配置文件，并在本地配置好相关开发工具，可参考通过开源镜像站获取样例工程。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
