正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置Kafka应用安全认证 使用Sasl Kerberos认证 使用Sasl Plaintext认证 使用Kafka Token认证 父主题: 准备Kafka应用开发环境
Start Action 功能描述 流程任务的执行入口,每个流程任务有且仅有一个该节点。 参数解释 Start Action节点中包含的各参数及其含义,请参见表1。 表1 参数含义 参数 含义 to 后继action节点的名称 样例代码 <start to="mr-dataLoad"/>
Spark Core样例程序 Spark Core样例程序开发思路 Spark Core样例程序(Java) Spark Core样例程序(Scala) Spark Core样例程序(Python) 父主题: 开发Spark应用
Kafka Consumer API使用样例 功能介绍 下面代码片段在com.huawei.bigdata.kafka.example.Consumer类中,用于消费订阅的Topic消息。 代码样例 Consumer线程的dowork方法逻辑,该方法是run方法的重写 /**
在Linux中调测程序 调测OpenTSDB应用 查看OpenTSDB应用调测结果 父主题: 调测OpenTSDB应用
调测MapReduce应用 在本地Windows环境中调测MapReduce应用 在Linux环境中调测MapReduce应用 父主题: MapReduce开发指南(普通模式)
Storm应用开发简介 简介 Storm是一个分布式的、可靠的、容错的数据流处理系统。它会把工作任务委托给不同类型的组件,每个组件负责处理一项简单特定的任务。Storm的目标是提供对大数据流的实时处理,可以可靠地处理无限的数据流。 Storm有很多适用的场景:实时分析、在线机器学
Storm应用开发流程 本文档主要基于Java API进行Storm拓扑的开发。 开发流程中各阶段的说明如图1和表1所示: 图1 拓扑开发流程 表1 Storm应用开发的流程说明 阶段 说明 参考文档 了解基本概念 在开始开发应用前,需要了解Storm的基本概念,了解场景需求,拓扑等。
Storm应用开发常用概念 Topology 拓扑是一个计算流图。其中每个节点包含处理逻辑,而节点间的连线则表明了节点间的数据是如何流动的。 Spout 在一个Topology中产生源数据流的组件。通常情况下Spout会从外部数据源中读取数据,然后转换为Topology内部的源数据。
Kafka表开发规则 Kafka作为sink表时必须指定“topic”配置项 【示例】向Kafka的“test_sink”主题插入一条消息: CREATE TABLE KafkaSink( `user_id` VARCHAR, `user_name` VARCHAR,
Kafka表开发建议 Kafka作为source表时应设置限流 本章节适用于MRS 3.3.0及以后版本。 防止上限超过流量峰值,导致作业异常带来不稳定因素。因此建议设置限流,限流上限应该为业务上线压测的峰值。 【示例】 #如下参数作用在每个并行度 'scan.records-per-second
配置Spark HA增强高可用 配置多主实例模式 配置Spark多租户模式 配置多主实例与多租户模式切换 父主题: Spark Core企业级能力增强
访问HDFS WebUI时,界面提示无法显示此页 问题 通过IE 9、IE 10和IE 11等浏览器访问HDFS的原生UI界面,偶尔出现访问失败情况。 现象 访问页面失败,浏览器无法显示此页,如下图所示: 原因 IE 9、IE 10、IE 11浏览器的某些版本在处理SSL握手有问题导致访问失败。
Password cannot be null if SASL is enabled异常 问题 运行Spark的应用启用了ExternalShuffle,应用出现了Task任务丢失,原因是由于java.lang.NullPointerException: Password cannot
警恢复。 告警属性 告警ID 告警级别 可自动清除 24001 一般 是 告警参数 参数名称 参数含义 ServiceName 产生告警的服务名称。 RoleName 产生告警的角色名称。 HostName 产生告警的主机名。 对系统的影响 产生告警的Flume Agent实例无
告警属性 告警ID 告警级别 是否自动清除 14023 次要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 NameService名 产生告警的NameService名称。 Trigger condition
到GC时间超出阈值(连续3次检测超过5s)时产生该告警。用户可在FusionInsight Manager中通过“运维 > 阈值配置 > 服务 > Presto > 集群状态 > Coordinator进程GC时间”修改阈值。当 Coordinator进程Gc时间小于或等于告警阈值时,告警清除。
告警属性 告警ID 告警级别 是否可自动清除 45435 次要 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称 服务名 产生告警的服务名称 角色名 产生告警的角色名称 表名 产生告警的库名.表名 对系统的影响 ClickHouse业务中若存在元数据不一致的表,则后
Manager界面,选择“集群 > 服务 > Flink > 配置 > 全部配置”,搜索“flink.ha.floatip”,修改参数值为正确浮动IP,保存配置并重启Flink服务。 新的浮动IP请联系网络管理员提供。 重启服务期间,FlinkServer无法对外提供服务,已提交的作业不受影响。
回滚补丁后操作 回退HDFS上的组件包 登录集群主节点并执行以下命令: su - omm cd /opt/Bigdata/patches/{MRS补丁版本号}/client/ source /opt/Bigdata/client/bigdata_env 所有涉及{MRS补丁版本号