检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Oozie应用开发流程 本文档主要基于Java API对Oozie进行应用开发。 开发流程中各阶段的说明如图1和表1所示。 图1 Oozie应用程序开发流程 表1 Oozie应用开发的流程说明 阶段 说明 参考文档 了解基本概念 在开始开发应用前,需要了解Oozie的基本概念,了解场景需求等
Spark Structured Streaming样例程序开发思路 场景说明 在Spark应用中,通过使用StructuredStreaming调用Kafka接口来获取单词记录,然后把单词记录分类统计,得到每个单词记录数。 数据规划 StructuredStreaming样例工程的数据存储在
Spark Structured Streaming样例程序开发思路 场景说明 在Spark应用中,通过使用StructuredStreaming调用Kafka接口来获取单词记录,然后把单词记录分类统计,得到每个单词记录数。 数据规划 StructuredStreaming样例工程的数据存储在
查看MRS集群已修改的组件配置参数 MRS支持一键查看集群内各服务配置参数的变动情况,方便用户快速排查定位问题,提升配置管理效率。 用户可通过MRS 3.x版本集群Manager界面快速查看集群内各服务所有非初始默认值、同一角色实例之间非统一值、集群配置修改的历史记录、集群内当前配置状态为过期的参数
ALM-45445 ClickHouse写入分布式表时发送数据文件到远端分片失败 本章节仅适用于MRS 3.3.1及之后版本。 告警解释 ClickHouse实例分布式表检查模块300秒检查一次,如果连续失败的次数超过配置的阈值,则触发上报告警,此时ClickHouse写入分布式表的节点无法正常发送数据文件到远端分片节点
查看Flink应用调测结果 操作场景 Flink应用程序运行完成后,您可以查看运行结果数据,也可以通过Flink WebUI查看应用程序运行情况。 操作步骤 查看Flink应用运行结果数据。 当用户查看执行结果时,需要在Flink的web页面上查看Task Manager的Stdout
使用Flume客户端从Kafka采集日志保存到HDFS 该任务指导用户使用Flume客户端从Kafka客户端的Topic列表(test1)采集日志保存到HDFS上“/flume/test”目录下。 本配置默认集群网络环境是安全的,数据传输过程不需要启用SSL认证。如需使用加密方式,
Oozie应用开发流程 本文档主要基于java API对Oozie进行应用开发。 开发流程中各阶段的说明如图1和表1所示。 图1 Oozie应用程序开发流程 表1 Oozie应用开发的流程说明 阶段 说明 参考文档 了解基本概念 在开始开发应用前,需要了解Oozie的基本概念,了解场景需求等
快速开发Flink应用 Flink是一个批处理和流处理结合的统一计算框架,其核心是一个提供了数据分发以及并行化计算的流数据处理引擎。它的最大亮点是流处理,是业界最顶级的开源流处理引擎。 Flink最适合的应用场景是低时延的数据处理(Data Processing)场景:高并发pipeline
使用CDL从Hudi同步数据到ClickHouse 操作场景 本章节指导用户通过MRS 3.2.0版本开启Kerberos认证的集群的CDLService WebUI界面,从Hudi导入数据到ClickHouse。 前提条件 集群已安装CDL、Hudi和ClickHouse服务且运行正常
使用Share Lib工具检查Oozie依赖Jar包正确性 Oozie任务运行需要依赖Share Lib中的原生Jar包,Share Lib由Oozie内核启动时自动上传到HDFS的“/user/oozie”目录下,当HDFS上的Share Lib损坏、缺失或Jar包冲突可能导致Oozie
导入并配置SpringBoot样例工程 操作场景 为了运行MRS产品Hive组件的SpringBoot接口样例代码,需要完成下面的操作。 该章节以在Windows环境下开发SpringBoot方式连接Hive服务的应用程序为例。 该章节内容适用于MRS 3.3.0及之后版本。 操作步骤
配置MRS集群对接SNMP网管平台上报告警 如果用户需要在统一的运维网管平台查看集群的告警、监控数据,管理员可以在FusionInsight Manager使用SNMP服务将相关数据上报到网管平台。 前提条件 对接服务器对应的弹性云服务器需要和MRS集群的Master节点在相同的VPC
HMaster等待NameSpace表上线时超时退出 问题 为什么在等待namespace表上线时超时HMaster退出? 回答 在HMaster主备倒换或启动期间,HMaster为先前失败/停用的RegionServer执行WAL splitting及region恢复。 在后台运行有多个监控
HMaster等待NameSpace表上线时超时退出 问题 为什么在等待namespace表上线时超时HMaster退出? 回答 在HMaster主备倒换或启动期间,HMaster为先前失败/停用的RegionServer执行WAL splitting及region恢复。 在后台运行有多个监控
技术支持 MRS服务是租户完全可控的半托管云服务,为用户提供一站式企业级大数据平台,用户可以在MRS集群上轻松运行Hadoop、Hive、Spark、HBase、Kafka、Flink等大数据组件,帮助企业快速构建海量数据信息处理系统,并通过对海量信息数据实时与非实时的分析挖掘,发现全新价值点和企业商机
ALM-16052 MetaStore创建表时访问元数据库时延超过阈值 告警解释 系统周期性检测MetaStore创建表时访问元数据库时延,当最近5分钟创建表的平均时延超过阈值时上报告警。 当最近5分钟创建表的平均时延小于阈值时,告警恢复。 该章节适用于MRS 3.5.0及之后版本
连上不同的JDBCServer,function不能正常使用 问题 场景一: 通过add jar的方式建立永久函数,当Beeline连上不同的JDBCServer或者JDBCServer重启后都需要重新add jar。 图1 场景一异常信息 场景二: show functions能够查到相应的函数
连上不同的JDBCServer,function不能正常使用 问题 场景一: 通过add jar的方式建立永久函数,当Beeline连上不同的JDBCServer或者JDBCServer重启后都需要重新add jar。 图1 场景一异常信息 场景二: show functions能够查到相应的函数
HetuEngine应用开发流程介绍 开发流程中各阶段的说明如图1所示: 图1 HetuEngine应用程序开发流程 表1 HetuEngine应用开发的流程说明 阶段 说明 参考文档 了解基本概念 在开始开发应用前,需要了解HetuEngine的基本概念,了解场景需求等。 HetuEngine