检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Spark优化sql的执行，一般的优化规则都是启发式的优化规则，启发式的优化规则，仅仅根据逻辑计划本身的特点给出优化，没有考虑数据本身的特点，也就是未考虑算子本身的执行代价。Spark在2.2中引入了基于代价的优化规则（CBO）。CBO会收集表和列的统计信息，结合算子的输入数据集来估计
当系统中omm用户过期的期限重置，当前状态为正常，告警恢复。 告警属性 告警ID 告警级别 是否自动清除 12079 次要 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 o
当系统中omm密码过期的期限重置，当前状态为正常，告警恢复。 告警属性 告警ID 告警级别 是否自动清除 12080 次要 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 o
系统当前指标取值满足自定义的告警设置条件。 对系统的影响 HDFS集群磁盘容量不足，会影响到HDFS的数据写入。如果DataNode的剩余空间都已经给副本预留，则写入HDFS数据失败。 可能原因 告警阈值配置不合理。 HDFS集群配置的磁盘空间不足。 HDFS的业务访问量太大，超过了已有DataNode的负载能力。
当系统中ommdba用户过期的期限重置，当前状态为正常，告警恢复。 告警属性 告警ID 告警级别 是否自动清除 12081 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 o
告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 Yarn NodeManager非堆内存
DISTRIBUTED | VALIDATE | IO} 描述 显示一条语句的逻辑的或者分布式的执行计划，也可以用于校验一条SQL语句，或者是分析IO。 参数TYPE DISTRIBUTED用于显示分片后的计划（fragmented plan）。每一个fragment都会被一个或者多个节点执行。Fragments
Phoenix依赖HBase作为其后备存储，支持标准SQL和JDBC API的强大功能，使得SQL用户可以访问HBase集群。 代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“PhoenixSample”类的testCreateTable方法中。 /**
Spark从Hive读取数据再写入HBase样例程序（Scala） Spark从Hive读取数据再写入HBase样例程序（Python） 父主题： 开发Spark应用
Streaming对接Kafka0-10样例程序（Java） Spark Streaming对接Kafka0-10样例程序（Scala） 父主题： 开发Spark应用
回答 出现上述问题的原因是：当spark-sql退出时，应用退出关闭消息通道，如果当前还有消息未处理，需要做连接关闭异常的处理，此时，如果scala内部的线程池已经关闭，就会打印RejectEdExecutionException的异常栈，如果scala内部的线程池尚未关闭就不会打印该异常栈。
当前HetuEngine仅支持UDF JAR文件存放在“hdfs://资源URI”的HDFS中。 因修改函数或增加函数而导致的重新上传JAR文件，HetuEngine会默认缓存5分钟，不会即时生效，5分钟后才会进行JAR文件的更新和重新加载。 使用HetuEngine UDF 使用客户端访问：
fs -cat /hbase/hbase.version命令发现文件不能正常查看，该文件损坏。 解决办法 执行hbase hbck -fixVersionFile命令修复文件。 如1不能解决，从同版本的其他集群中获取hbase.version文件上传进行替换。 重新启动HBase服务。
Flink WebUI应用流程 Flink WebUI应用流程参考如下步骤： 图1 Flink WebUI应用流程 表2 Flink WebUI应用流程说明 阶段 说明 参考章节 创建应用 通过应用来隔离不同的上层业务。 创建FlinkServer应用 创建集群连接 通过集群连接配置访问不同的集群。
单击“操作”列的“修改”，根据实际使用情况，更改告警阈值，单击“确定”。 等待两分钟，查看告警是否清除。 是，处理完毕。 否，执行5。 使用omm用户登录产生告警的BE所在节点，执行"top"查看进程使用内存情况，找到占用较高的内存的进程，检查是否是本服务应存在的进程，是否合理。
告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 Guardian TokenServer
单击“确定”。默认实例组不支持删除。 多余或者不再使用的实例组可以删除，删除前需要将组内的实例全部迁移至其他实例组。系统默认的实例组不可删除。 查看实例组信息：在“实例组”页签导航栏选择一个角色，在“基本”页签，查看该实例组的全部实例。 需要将某个实例从一个实例组移动到另一个实例组中时，可以根据以下操作：
率小于阈值的90%时，该告警恢复。 告警属性 告警ID 告警级别 是否自动清除 27006 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 设备分区名 产生告警的磁盘分区。
都可以独立工作，并且提供的功能是一样的。 Flume客户端需要单独安装，支持将数据直接导到集群中的HDFS和Kafka等组件上，也可以结合Flume服务端一起使用。 使用流程 通过同时利用Flume服务端和客户端，构成Flume的级联任务，采集日志的流程如下所示。 安装Flume客户端。
RoleName 产生告警的角色名称。 HostName 产生告警的主机名。 对系统的影响 无 可能原因 Presto实例线程数量过大。 Presto并发执行的任务过多。 处理步骤 检查任务并发量 检查当前集群CPU负载是否正常，SQL并发量是否符合预期。 是，执行2。 否，执行4。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
