检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Flink Join样例程序 Flink Join样例程序开发思路 Flink Join样例程序(Java) 父主题: 开发Flink应用
Flink开启Checkpoint样例程序 Flink开启Checkpoint样例程序开发思路 Flink开启Checkpoint样例程序(Java) Flink开启Checkpoint样例程序(Scala) 父主题: 开发Flink应用
Spark Core样例程序 Spark Core样例程序开发思路 Spark Core样例程序(Java) Spark Core样例程序(Scala) Spark Core样例程序(Python) 父主题: 开发Spark应用
Hadoop组件交互的接口,致力让用户通过界面图形化的方式轻松使用Hadoop组件。目前Hue支持HDFS、Hive、HBase、Yarn、MapReduce、Oozie和SparkSQL等组件的可视化操作。 前提条件 已安装Hue组件。 操作步骤 访问Hue WebUI,请参考访问Hue WebUI界面。
准备Spark应用开发环境 准备Spark本地应用开发环境 准备Spark连接集群配置文件 导入并配置Spark样例工程 新建Spark样例工程(可选) 配置Spark应用安全认证 配置Spark Python3样例工程 父主题: Spark2x开发指南(安全模式)
Streaming从Kafka读取数据再写入HBase 场景说明 Java样例代码 Scala样例代码 父主题: 开发Spark应用
Presto接口介绍 Presto接口介绍如下: Presto JDBC接口遵循标准的JAVA JDBC驱动标准,详情请参见JDK1.7 API。 Presto JDBC使用参见https://prestodb.io/docs/current/installation/jdbc.html。
输入正确的HiveQL语句,观察命令是否正确执行。 是,执行4.e。 否,执行2.a。 检查HBase服务是否异常。 检查是否执行Hive on HBase任务。 是,执行2.b。 否,执行3.a。 在服务列表查看HBase服务是否正常。 是,执行3.a。 否,执行2.c。 查看告警界面的相关告警,参照对应告警帮助进行处理。
} String url = sBuilder.toString(); 以上是通过ZooKeeper的方式访问Hive。若直连HiveServer的方式访问Hive,需按如下方式拼接JDBC URL,并将hiveclient.properties文件中的zk.quorum配置项的端口改为10000。
产生告警的集群或者系统名称 服务名 产生告警的服务名称 角色名 产生告警的角色名称 主机名 产生告警的主机名 对系统的影响 监控指标上报CES失败,在CES中无法看到MRS云服务的监控指标。 可能原因 权限问题请求CES接口失败。 网络问题上报CES数据失败。 服务内部问题导致上报CES数据失败。
是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 进程状态异常会导致该进程无法提供正常服务,进而可能导致服务整体异常。 可能原因 主机中正在等待的IO(磁盘IO、网络I
告警属性 告警ID 告警级别 是否自动清除 45428 重要(默认级别) 否 告警参数 参数名称 参数含义 来源 产生告警的集群名称 服务名 产生告警的服务名称 角色名 产生告警的角色名称 主机名 产生告警的主机名 对系统的影响 ClickHouse读写数据异常,本地表的INSERT、
告警属性 告警ID 告警级别 是否自动清除 45595 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 跨空间合并任务超时,会阻塞写数据,导致写操作的性能下降。
because lease recovery is in progress. Try again later. 如果该文件的释放时间没有超过默认设置60s,原有客户端会继续持有该租约,则会发生AlreadyBeingCreatedException异常,实际上向客户端返回的是null,导致客户端出现如下异常:
查看任一部署Flume角色节点的“业务IP”。 登录FusionInsight Manager页面,具体请参见访问FusionInsight Manager(MRS 3.x及之后版本),选择“集群 > 服务 > Flume > 实例”。查看任一部署Flume角色节点的“业务IP”。 若集群详情页面
进入ZooKeeper实例页面: 登录FusionInsight Manager,具体请参见访问FusionInsight Manager(MRS 3.x及之后版本)。然后选择“集群 > 服务 > ZooKeeper > 实例”。 查看ZooKeeper角色实例的IP地址。 记录Z
回答 JDBCServer方式使用了ShuffleService功能,Reduce阶段所有的Executor会从NodeManager中获取数据,当数据量达到一个级别(10T级别),会出现NodeManager单点瓶颈(ShuffleService服务在NodeManager进程
写入数据的总批次。 ClickHouse虽有集群能力,但没有统一的访问入口,客户端需要直接感知集群内所有的节点,易用性不好。ClickHouse提供了基于Loadbalance部署架构,可以将用户访问流量自动分发到多台后端节点,扩展系统对外的服务能力,实现更高水平的应用容错。客户端应用请求集群时
item_type_code); 其中,在子查询中使用聚合函数sum(b.profit)和group by子句,因此UPDATE操作失败。 如果查询的表设置了carbon.input.segments属性,则UPDATE操作失败。要解决该问题,在查询前执行以下语句。 语法: SET carbon
val resultValue = hiveValue + hbaseValue.toInt // 设置结果到put对象 put.addColumn(Bytes.toBytes(columnFamily), Bytes.toBytes("cid")