检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
E_8.1.0.1/install/FusionInsight-dbservice-2.7.0/.dbservice_profile gsql -U 用户名-W Oozie数据库密码 -p 20051 -d 数据库名称 登录成功后，输入\d，检查数据表是否共有15张。 Oozie
备份Doris业务数据 操作场景 为了确保Doris日常用户的业务数据安全，或者集群用户需要对Doris进行重大操作（如升级或迁移等）时，需要对Doris数据进行备份，从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复，将对业务的影响降到最低。 集群用户可以通过FusionInsight
后台执行合并操作时才会进行数据的预先聚合，而合并操作的执行时机无法预测，所以可能存在部分数据已经被预先聚合、部分数据尚未被聚合的情况。因此，在执行聚合计算时，SQL中仍需要使用GROUP BY子句。 AggregatingMergeTree AggregatingMergeTree是预先聚合引擎的一种
息，登录到实例节点上，进入对应的数据目录（即6中“log.dirs”修改之前的配置路径），查看该目录下哪些Topic的Patition目录占用的磁盘空间比较大。 是，执行15。 否，执行16。 通过Kafka客户端对Topic的Partition进行扩展，命令行操作命令如下： kafka-topics
percentage参数：每个磁盘的保留空间所占磁盘百分比。DataNode会保留这么多可用空间，以备其他组件如Yarn的NodeManager运行计算时，或者预留升级时使用。 因为预留了10%的磁盘，当磁盘使用率达到90%的时候，HDFS的DataNode即会认为没有可用磁盘空间。 解决办法 扩容，在HDFS
LDAP配置文件中管理员密码使用SHA加密，当升级openldap版本为2.4.39或更高时，主备LDAP节点服务自动采用SASL External机制进行数据同步，避免密码信息被非法获取。 集群中的LDAP服务默认支持SSLv3协议，可安全使用。当升级openldap版本为2.4.39或更高时，LDAP将自动使用TLS1
xml文件，替换到cluster1中的Spark2x客户端下“conf”目录下的hive-site.xml文件。 如上操作后可以用sparksql访问hive MetaStore，如需访问hive表数据，需要按照•同时访问两个集群的HDFS：的操作步骤配置且指定对端集群nameser
本样例使用Python调用Java的方式实现 """ from py4j.java_gateway import java_import from pyspark.sql import SparkSession # 创建SparkSession spark = SparkSession\ .builder\
1.1-hw-ei-311001.jar kafka-clients-xxx.jar kafka_2.12-xxx.jar spark-sql-kafka-0-10_2.12-3.1.1-hw-ei-311001-SNAPSHOT.jar spark-streaming-kafka-0-10_2
col4更新 使用场景样例 union写入模拟多表join（flink可以使用该功能完成流流join,实现数据拉宽）。 下列代码以SparkSQL示例, 通过Hudi将t1和t2 join拉宽操作转成union + insert，避免join的开销： create table if not
重启实例”，重启HiveServer/MetaStore进程。 正在重启的HiveServer/MetaStore实例无法对外提供服务，对应实例上正在执行的SQL任务可能失败。 在告警列表中，查看“Hive服务不可用”告警是否清除。 是，处理完毕。 否，执行4。 检查ZooKeeper服务状态。 在FusionInsight
通过Spark客户端，查看数据库，确认对接成功。如果集群不存在Spark组件请跳过该步骤。 source 客户端安装路径/Spark/component_env spark-sql show databases;desc database default; 父主题： 配置LakeFormation数据连接
集群状态消息通知 特性简介 大数据集群运行过程中经常会进行如下操作： 大数据集群变更，比如扩容、缩容集群。 业务数据量突然变化，集群触发弹性伸缩。 相关业务结束，需要终止大数据集群等。 用户想要及时得知这些操作是否执行成功，以及当集群出现大数据服务不可用，或节点故障时，用户希望不
0ms”，集群规格为每个regionserver上有2000~3000个region，在集群正常情况下(HBase无异常，HDFS无大量的读写操作等)，建议此参数依据集群的规格进行调整，若实际规格（实际平均每个regonserver上region的个数）大于默认规格（默认平均每个
23:59:59。 变更配置后对计费的影响 当前包年/包月MRS集群资源的规格不满足您的业务需要时，您可以在MRS控制台发起变更规格操作，MRS提供如下几种变更配置的方式： 扩容：手动扩容Core或Task节点，请参见扩容集群；扩容数据盘，请参见扩容数据盘。 升级规格：升级Master节
备份Flink元数据 操作场景 为了确保Flink集群中的元数据安全，或者系统管理员需要对Flink进行重大操作（如升级或迁移等）时，需要对Flink集群的元数据进行备份，从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复，将对业务的影响降到最低。 系统管理员可以通过FusionInsight
恢复Flink元数据 操作场景 在用户意外修改、删除或需要找回数据时，系统管理员需要对Flink进行重大操作（如升级或迁移等）后，系统数据出现异常或未达到预期结果，导致Flink组件全部故障无法使用，或者迁移数据到新集群的场景中，需要对Flink元数据进行恢复数据操作。 系统管理员可以通过FusionInsight
恢复HBase业务数据 操作场景 在用户意外修改、删除或需要找回数据时，系统管理员对HBase进行重大操作（如升级、重大数据调整等）后，系统数据出现异常或未达到预期结果，模块全部故障无法使用，或者迁移数据到新集群的场景中，需要对HBase业务数据进行恢复数据操作。 系统管理员可以通过FusionInsight
恢复HDFS NameNode元数据 操作场景 在用户意外修改、删除或需要找回数据时，系统管理员对NameNode进行重大操作（如升级、重大数据调整等）后，系统数据出现异常或未达到预期结果，模块全部故障无法使用，或者迁移数据到新集群的场景中，需要对NameNode进行恢复数据操作。
击“弹性伸缩”。 查看当前集群的弹性伸缩策略是否是关闭状态 否，请跟业务方确认是否可以关闭，如果可以请关闭弹性伸缩，否则请另择时间进行补丁升级。 是，弹性伸缩关闭，检查结束。 检查是否有正在运行的任务 登录FusionInsight Manager界面，查看右上角任务。 查看当前集群是否存在正在运行的任务。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
