检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
查询ClickHouse数据 本章节介绍查询ClickHouse数据样例代码。 查询语句1:querySql1查询创建ClickHouse表创建的tableName表中任意10条数据;查询语句2:querySql2通过内置函数对创建ClickHouse表创建的tableName表中的日期字段取年月后进行聚合。
删除ClickHouse表 本章节介绍删除ClickHouse表样例代码。 以下代码片段在com.huawei.clickhouse.examples包的“Demo”类的dropTable方法中。 用于删除在创建ClickHouse表中创建的副本表和分布式表。 private void
Impala样例程序开发思路 场景说明 假定用户开发一个Impala数据分析应用,用于管理企业雇员信息,如表1、表2所示。 开发思路 数据准备。 创建三张表,雇员信息表“employees_info”、雇员联络信息表“employees_contact”、雇员信息扩展表“empl
删除ClickHouse表 本章节介绍删除ClickHouse表样例代码。 以下代码片段在com.huawei.clickhouse.examples包的“Demo”类的dropTable方法中。 用于删除在创建ClickHouse表中创建的副本表和分布式表。 private void
创建Kudu表 功能简介 通过KuduClient.createTable(String name, Schema schema, CreateTableOptions builder)方法创建表对象,其中需要指定表的schema和分区信息。 代码样例 如下是创建表的代码片段: //
Flink开启Checkpoint样例程序 Flink开启Checkpoint样例程序开发思路 Flink开启Checkpoint样例程序(Java) Flink开启Checkpoint样例程序(Scala) 父主题: 开发Flink应用
HDFS样例程序开发思路 场景说明 HDFS的业务操作对象是文件,代码样例中所涉及的文件操作主要包括创建文件夹、写文件、追加文件内容、读文件和删除文件/文件夹;HDFS还有其他的业务处理,例如设置文件权限等,其他操作可以在掌握本代码样例之后,再扩展学习。 本代码样例讲解顺序为: HDFS初始化
追加信息到HDFS指定文件 功能简介 追加文件内容,是指在HDFS的某个指定文件后面,追加指定的内容。过程为: 使用FileSystem实例的append方法获取追加写入的输出流。 使用该输出流将待追加内容添加到HDFS的指定文件后面。 在完成后,需关闭所申请资源。 代码样例 如下是代码片段,详细代码请参考com
告警属性 告警ID 告警级别 是否可自动清除 50220 紧急 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。
回滚补丁前检查 卸载补丁前需要手动进行相关检查。 检查所有节点管理平面网络是否互通 登录FusionInsight Manager界面,选择“运维 > 告警 > 告警”。 查看当前集群是否存在“ALM-12089 节点间网络互通异常”或“节点故障”等告警。 是,节点间网络不互通,请联系运维人员修复。
ServiceName 产生告警的服务名称。 RoleName 产生告警的角色名称。 HostName 产生告警的主机名。 Trigger condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 故障的NodeManager节点无法提供Yarn服务。 容器减少,集群性能下降。
告警属性 告警ID 告警级别 是否自动清除 45178 次要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger condition 系统当前指标取值满足自定义的告警设置条件。
告警。 告警属性 告警ID 告警级别 是否自动清除 45333 次要 是 告警参数 参数名称 参数含义 ServiceName 产生告警的服务名称。 RoleName 产生告警的角色名称。 HostName 产生告警的主机名 对系统的影响 无 可能原因 Presto实例线程数量过大。
告警。 告警属性 告警ID 告警级别 是否自动清除 45334 次要 是 告警参数 参数名称 参数含义 ServiceName 产生告警的服务名称。 RoleName 产生告警的角色名称。 HostName 产生告警的主机名。 对系统的影响 无 可能原因 Presto实例线程数量过大。
为什么Driver进程不能退出 问题 运行Spark Streaming任务,然后使用yarn application -kill applicationID命令停止任务,为什么Driver进程不能退出? 回答 使用yarn application -kill applicati
Executor进程Crash导致Stage重试 问题 在执行大数据量的Spark任务(如100T的TPCDS测试套)过程中,有时会出现Executor丢失从而导致Stage重试的现象。查看Executor的日志,出现“Executor 532 is lost rpc with driver
HyperLogLog函数 HetuEngine使用HyperLogLog数据结构实现rox_distinct()函数。 数据结构 HyperLogLog(hll)是一种统计基数的算法。它实际上不会存储每个元素出现的次数,它使用的是概率算法,通过存储元素的32位hash值的第一个
初始化存量表的分区 命令功能 计算每个历史分区的最后修改时间,以“lastUpdateTime=最后修改时间”的格式将每个分区的最后修改时间写入每个分区下的“.hoodie_partition_metadata”文件中。TTL会依据“当前系统时间 - 分区最后修改时间”来判断每个分区是否老化。
Bitwise函数 bit_count(x, bits) → bigint 计算2的补码表示法中x中设置的位数(视为有符号位的整数)。 SELECT bit_count(9, 64); -- 2 SELECT bit_count(9, 8); -- 2 SELECT bit_count(-7
产生“ALM-18022 Yarn队列资源不足”告警时,正在运行的资源队列可以在哪查看? 答: Yarn资源队列可以登录Manager界面,选择“集群 > 服务 > Yarn > ResourceManager(主)”,登录Yarn的原生页面进行查看。 具体的告警处理方法可查看该告警的联机帮助文档进行处理。