检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
的告警信息影响到服务的使用,其告警级别达到致命时,则发送信息通知给对应租户。 在用户集群的ECS机器被删除、关机、修改规格、重启、更新OS的行为,会导致大数据集群异常,当检测到用户的虚拟机出现以上状态的时候,发送通知给对应用户。 创建主题 主题是消息发布或客户端订阅通知的特定事件
是,集群已绑定委托。 否,执行4.b。 单击“管理委托”,为集群绑定具有OBS文件系统操作权限的委托。 您可以直接选择系统默认的“MRS_ECS_DEFAULT_AGENCY”,也可以单击“新建委托”自行创建其他具有OBS文件系统操作权限的委托。 提交wordcount作业。 在M
同步Kafka数据至ClickHouse 您可以通过创建Kafka引擎表将Kafka数据自动同步至ClickHouse集群,具体操作详见本章节描述。 前提条件 已创建Kafka集群。已安装Kafka客户端,详细可以参考安装客户端。 已创建ClickHouse集群,并且ClickH
ALM-25004 LdapServer数据同步异常 告警解释 系统按30秒周期性检测LdapServer数据,如果连续12次检测,Manager的主备LdapServer的数据内容都不一致,产生该告警,当两者的数据一致时,对应告警恢复。 系统按30秒周期性检测LdapServe
使用JDBC提交数据分析任务 功能简介 本章节介绍如何使用JDBC样例程序完成数据分析任务。 样例代码 使用Hive JDBC接口提交数据分析任务,该样例程序在“hive-examples/hive-jdbc-example”的“JDBCExample.java”中,实现该功能的模块如下:
Storm基本原理 Apache Storm是一个分布式、可靠、容错的实时流式数据处理的系统。在Storm中,先要设计一个用于实时计算的图状结构,称之为拓扑(topology)。这个拓扑将会被提交给集群,由集群中的主控节点(master node)分发代码,将任务分配给工作节点(worker
恢复Flink元数据 操作场景 在用户意外修改、删除或需要找回数据时,系统管理员需要对Flink进行重大操作(如升级或迁移等)后,系统数据出现异常或未达到预期结果,导致Flink组件全部故障无法使用,或者迁移数据到新集群的场景中,需要对Flink元数据进行恢复数据操作。 系统管理员可以通过FusionInsight
配置ClickHouse对接HDFS源文件(MRS 3.3.0-LTS及之后版本) 本章节适用于MRS 3.3.0-LTS及之后版本。 操作场景 本章节主要介绍安全模式ClickHouse对接安全模式HDFS组件进行文件读写。对于普通模式ClickHouse对接普通模式HDFS组
同步Kafka数据至ClickHouse 本章节指导用户通过创建Kafka引擎表将Kafka数据自动同步至ClickHouse集群。 前提条件 已创建Kafka集群。已安装Kafka客户端,详细可以参考安装客户端。 已创建ClickHouse集群,并且ClickHouse集群和K
创建CDL数据同步任务作业 操作场景 CDLService WebUI提供可视化的作业编排页面,用户可快速创建CDL作业,实现实时数据入湖。 前提条件 开启Kerberos认证的集群需已创建具有CDL管理操作权限的用户。 操作步骤 使用具有CDL管理操作权限的用户或admin用户
创建FlinkServer作业写入数据至ClickHouse表 本章节适用于MRS 3.1.2及之后的版本。 操作场景 Flink通过对接ClickHouse的ClickHouseBalancer实例进行读写,有效避免ClickHouse流量分发问题。FlinkSQL与ClickHouse数据类型对应关系如下表所示。
nProvider, simpleJdbcMapper).withTableName("GOAL").withQueryTimeoutSecs(30); WordSpout wordSpout = new WordSpout();TopologyBuilder builder
准备连接Hive集群配置文件 准备集群认证用户信息 对于开启Kerberos认证的MRS集群,需提前准备具有相关组件操作权限的用户用于程序认证。 以下Hive权限配置示例供参考,在实际业务场景中可根据业务需求灵活调整。 登录FusionInsight Manager。 选择“集群
在本地Windows环境中调测MapReduce应用 操作场景 在程序代码完成开发后,您可以在Windows环境中运行应用。本地和集群业务平面网络互通时,您可以直接在本地进行调测。 MapReduce应用程序运行完成后,可通过如下方式查看应用程序的运行情况。 在IntelliJ IDEA中查看应用程序运行情况。
使用JDBC接口提交数据分析任务 功能简介 本章节介绍如何使用JDBC样例程序完成数据分析任务。 样例代码 使用Hive JDBC接口提交数据分析任务,该样例程序在“hive-examples/hive-jdbc-example”的“JDBCExample.java”中,实现该功能的模块如下:
在本地Windows环境中调测MapReduce应用 操作场景 在程序代码完成开发后,您可以在Windows环境中运行应用。本地和集群业务平面网络互通时,您可以直接在本地进行调测。 MapReduce应用程序运行完成后,可通过如下方式查看应用程序的运行情况。 在IntelliJ IDEA中查看应用程序运行情况。
MRS 3.1.5补丁说明 MRS 3.1.5.0.3补丁基本信息 表1 补丁基本信息 补丁号 MRS 3.1.5.0.3 发布时间 2023-11-27 安装前处理 如果MRS集群节点故障或者网络不通,需要先隔离该节点,否则补丁会安装失败。 安装MRS 3.1.5.0.3补丁前,需要先安装MRS
创建HetuEngine计算实例 本章节指导用户新创建HetuEngine计算实例。计算实例创建成功后,停止集群前需手动停止计算实例;重启集群后,要使用集群中的计算实例,需要手动启动计算实例。 单个租户可以创建多个计算实例,多个计算实例负载均衡,可以提高性能及容错能力(MRS 3
mapreduce.TableIndexer -Dtablename.to.index=hbase_sample_table -Dindexspecs.to.add='IDX1=>info:[name->String]' -Dindexnames.to.build='IDX1' 然后用户
mapreduce.TableIndexer -Dtablename.to.index=hbase_sample_table -Dindexspecs.to.add='IDX1=>info:[name->String]' -Dindexnames.to.build='IDX1' 然后用户