检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
// 建立连接hbase的配置参数，此时需要保证hbase-site.xml在classpath中 val hbConf = HBaseConfiguration.create(sc.hadoopConfiguration) // 声明表的信息 val scan
建立连接hbase的配置参数，此时需要保证hbase-site.xml在classpath中 Configuration hbConf = HBaseConfiguration.create(jsc.hadoopConfiguration()); // 声明表的信息
建立连接hbase的配置参数，此时需要保证hbase-site.xml在classpath中 Configuration hbConf = HBaseConfiguration.create(jsc.hadoopConfiguration()); // 声明表的信息
参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 主机名 产生告警的主机名。 AgentId 产生告警的Agent id。 部件类型 产生告警的元素类型。 部件名 产生告警的元素名称。 对系统的影响 Flume Channel的磁盘空间使用量有继续增长的趋势，将会使数据
拖到右侧的操作界面中并将其连接。 采用Taildir Source、Memory Channel和HDFS Sink，如图3所示。 图3 Flume配置工具示例 双击对应的Source、Channel以及Sink，根据实际环境并参考表1设置对应的配置参数。 如果想在之前的“properties
Exit code is $exitCode") } 根据业务逻辑，开发对应的Spark应用程序。并设置用户编写的Spark应用程序的主类等常数。不同场景的示例请参考开发Spark应用。 如果您使用的安全模式，建议按照安全要求，准备安全认证代码、业务应用代码及其相关配置。 ya
一个表可以拥有一个或者多个分区，每个分区以文件夹的形式单独存在表文件夹的目录下。对分区内数据进行查询，可缩小查询范围，加快数据的检索速度和可对数据按照一定的条件进行管理。 分区是在创建表的时候用PARTITIONED BY子句定义的。 CREATE EXTERNAL TABLE
> 日志 > 下载”。 在“服务”中勾选待操作集群的“DBService”和“NodeAgent”。 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后1小时，单击“下载”。 请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。
M端感知到channel被终止后认为driver失联，然后整个应用停止。 解决办法：在Spark客户端的“spark-defaults.conf”文件中或通过set命令行进行设置。参数配置时要保证channel过期时间（spark.rpc.io.connectionTimeout
ZooKeeper”，在“配置”页签查看“clientPort”的值。 服务端topic权限配置。 将Kafka的Broker配置参数“allow.everyone.if.no.acl.found”的值修改为“true”。 安全认证。 安全认证的方式有三种：Kerberos认证、SSL加密认证和
如果所有的任务(map/reduce)需要读写数据至磁盘，多个进程将会同时访问一个磁盘。这将会导致磁盘的IO性能非常低下。为了改善磁盘的性能，请确保客户端并发访问磁盘的数不大于3。 最大并发的container数量应该为[2.5 * Hadoop中磁盘配置数 ]。 mapreduce.map
个连接重新执行用户的操作。 对于查询操作： 使用SessionPool进行查询时，得到的结果集是SessionDataSet的封装类SessionDataSetWrapper。 若对于一个查询的结果集，用户并没有遍历完且不再想继续遍历时，需要手动调用释放连接的操作closeResultSet。
hosts”文件内是否包含集群内节点的主机名信息，如未包含，需要手动复制解压目录下的“hosts”文件中的内容到客户端所在节点的hosts文件中，确保本地机器能与集群各主机在网络上互通。 Hive操作权限 在进行应用程序开发之前，使用的用户的基本权限要求是属于Hive组，额外操作
是否自动清除 12040 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 节点的操作系统熵值不足，可能导致该节点上加解密等命令执行慢，进而引起各实例业务处理性能下降，甚至业务进程无法正常执行。
产生告警的服务名称。 RoleName 产生告警的角色名称。 HostName 产生告警的主机名。 对系统的影响 如果将DataNode数据目录挂载在根目录等系统关键目录，长时间运行后会将根目录写满，导致系统故障。 不合理的DataNode数据目录配置，会造成HDFS的性能下降。
产生告警的服务名称。 RoleName 产生告警的角色名称。 HostName 产生告警的主机节点信息。 对系统的影响 LdapServer数据不一致时，有可能是Manager上的LdapServer数据损坏，也有可能是集群上的LdapServer数据损坏，此时数据损坏的Ldap
拖到右侧的操作界面中并将其连接。 例如采用Kafka Source、Memory Channel和HDFS Sink，如图3所示。 图3 Flume配置工具示例 双击对应的source、channel以及sink，根据实际环境并参考表1设置对应的配置参数。 如果想在之前的“properties
在“安全组”中选择当前集群所在的安全组，该安全组在创建集群时配置或集群自动创建。 创建自定义集群时，安全组可配置提前创建的安全组或由系统自动创建。快速创建集群时，安全组由系统自动创建。 安全组名称可在集群的“概览”界面的“安全组”查看。 添加安全组规则，默认填充的是用户访问弹性IP地址的规则。如需对
gz”压缩包中的“jars”目录中获取。 用户应用程序的编译依赖包根据代码不同而不同，需用户根据自己编写的代码进行加载。 将运行程序的依赖Jar包上传至需要运行此应用的节点中，例如“$SPARK_HOME/jars”路径。 用户需要将SparkLauncher类的运行依赖包和应用
可自动清除 16004 致命 是 告警参数 参数名称 参数含义 ServiceName 产生告警的服务名称。 RoleName 产生告警的角色名称。 HostName 产生告警的主机名。 对系统的影响 系统无法提供数据加载，查询，提取服务。 可能原因 Hive服务不可用可能与ZooKe
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
