检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
解决措施： 如果用户需要在OOM场景下强制将应用退出，那么可以在启动Spark Core应用时，在客户端配置文件“$SPARK_HOME/conf/spark-defaults.conf”中的配置项“spark.driver.extraJavaOptions”中添加如下内容： -XX
解决措施： 如果用户需要在OOM场景下强制将应用退出，那么可以在启动Spark Core应用时，在客户端配置文件“$SPARK_HOME/conf/spark-defaults.conf”中的配置项“spark.driver.extraJavaOptions”中添加如下内容： -XX
如果设置了客户端参数topology.worker.childopts，则该参数会与服务端参数worker.gc.childopts共同配置，但是后面的相同参数会将前面的覆盖掉，如上面图有两个-Xmx，-Xmx1G会覆盖掉-Xmx4096m。
/configure make make install 使用客户端时增加如下配置项。
以omm用户进入主集群HBase客户端所在节点。 如果集群采用了安全版本，要进行安全认证，然后使用hbase用户进入hbase shell界面。 cd /opt/client source .
部分角色（例如HiveServer、JDBCServer）在滚动重启前会暂时停止提供服务，该状态下的实例不可再接入新的客户端连接，而已经存在的连接需要等待一段时间才能完成，配置合适的超时时间参数能尽可能地保证业务不中断。
数据源 添加GAUSSDB数据源 添加HBase数据源 添加跨集群HetuEngine数据源 添加IoTDB数据源 添加MySQL数据源 添加Oracle数据源 添加GBase数据源 使用跨源协同分析流程 参考快速使用HetuEngine访问Hive数据源登录HetuEngine客户端
表1 IoTDB性能调优参数说明 参数名称 描述 默认值 调优建议 SSL_ENABLE 客户端到服务端通道SSL加密。 true “true”表示开启SSL加密，“false”表示关闭SSL加密。
图4 查看作业 使用ClickHouse客户端，查询ClickHouse表数据是否和HDFS导入的数据一致。 父主题： 创建Loader数据导入作业
准备运行环境 安装客户端。在节点上安装客户端，如安装到“/opt/client”目录。 REST接口 通过以下命令可跳过REST接口过滤器获取相应的应用信息。 安全模式下，JobHistory仅支持https协议，故在如下命令的url中请使用https协议。
这可能会导致客户的业务运行变慢（例如：作业提交运行变慢、页面响应迟钝、接口响应超时等），甚至出现崩溃或错误。 系统故障：慢盘故障可能会导致系统故障，从而导致客户的业务受到影响。如果慢盘上存储的数据包含关键信息，可能会导致系统崩溃或数据丢失。 可能原因 磁盘老化或者磁盘坏道。
解决措施： 如果用户需要在OOM场景下强制将应用退出，那么可以在启动Spark Core应用时，在客户端配置文件“$SPARK_HOME/conf/spark-defaults.conf”中的配置项“spark.driver.extraJavaOptions”中添加如下内容： -XX
解决措施： 如果用户需要在OOM场景下强制将应用退出，那么可以在启动Spark Core应用时，在客户端配置文件“$SPARK_HOME/conf/spark-defaults.conf”中的配置项“spark.driver.extraJavaOptions”中添加如下内容： -XX
图4 查看作业 使用ClickHouse客户端，查询ClickHouse表数据是否和HDFS导入的数据一致。 父主题： 数据导入
解决措施： 如果用户需要在OOM场景下强制将应用退出，那么可以在启动Spark Core应用时，在客户端配置文件“$SPARK_HOME/conf/spark-defaults.conf”中的配置项“spark.driver.extraJavaOptions”中添加如下内容： -XX
Observer NameNode：与Active NameNode中的数据保持同步，处理来自客户端的读请求。 DataNode 用于存储每个文件的“数据块”数据，并且会周期性地向NameNode报告该DataNode的数据存放情况。
分布式表转发给各个shard成功与否，插入数据的客户端无法感知，转发失败的数据会不断重试转发，消耗CPU。 大批量数据导入要分时、分节点、扩容 如果数据盘为SATA盘，当大批量数据集中插入时候，会抢占磁盘，使得磁盘长时间处于繁忙状态，影响其他alter类操作的效率。
对系统的影响 NameNode无法及时处理来自HDFS客户端、依赖于HDFS的上层服务、DataNode等的RPC请求，表现为访问HDFS服务的业务运行缓慢，严重时会导致HDFS服务不可用。 可能原因 NameNode节点的CPU性能不足，导致NameNode无法及时处理消息。
准备运行环境 安装集群客户端，例如客户端安装目录为“/opt/client”。 执行下列命令进行用户认证，这里以hdfs为例，用户可根据实际用户名修改。 kinit hdfs kinit认证的默认时效为24小时，到期后再次运行样例，需要重新执行kinit。
完整和详细的接口请参考官网上的描述以了解其使用： http://hadoop.apache.org/docs/r3.1.1/hadoop-project-dist/hadoop-hdfs/WebHDFS.html 准备运行环境 安装集群客户端，例如客户端安装目录为“/opt/client
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
