检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用Oozie调度Spark2x访问HBase以及Hive 前提条件 已经配置完成导入并配置Oozie样例工程的前提条件。 开发环境配置 参考获取MRS应用开发样例工程，获取样例代码解压目录中“src\oozie-examples”目录下的样例工程文件夹“oozienormal-
配置RSGroup管理RegionServer资源 操作场景 HBase服务的数据节点较多，需要根据不同的业务规模将数据节点资源分配给特定的业务，从而达到资源独占使用的目的。当AZ容灾特性被开启时，为了保证AZ容灾生效，保障业务可靠性，在为RSGroup分配RegionServe
AvailableSpaceBlockPlacementPolicy host2tags 配置DataNode主机与标签的对应关系。 主机名称支持配置IP扩展表达式（如192.168.1.[1-128]或者192.168.[2-3].[1-128]，且IP必须为业务IP），或者为前后加上
6”或“dependency_python3.7”或“dependency_python3.8”或“dependency_python3.9”（MRS 3.3.0及之后版本支持）文件夹。 执行whereis easy_install命令，找到easy_install程序路径。如果有多个路径，使用easy_install
在选择迁移节点界面，填写“迁入节点主机名”、“迁出节点主机名”，单击“下一步”。 “迁入节点主机名”与“迁出节点主机名”只能各填写一个主机名，不支持多节点迁移。 具体的参数值可以在ClickHouse服务界面单击“实例”页签，查看当前ClickHouseServer实例所在“主机名称”列获取。
link对于Yarn模式和Standalone模式提供HA机制，使集群能够从失败中恢复。这里主要介绍Yarn模式下的HA方案。 Flink支持HA模式和Job的异常恢复。这两项功能高度依赖ZooKeeper，在使用之前用户需要在“flink-conf.yaml”配置文件中配置Zo
hdfs为示例用户，请根据实际用户替换。 默认密码复杂度要求： 密码字符长度最小为8位。 至少需要包含大写字母、小写字母、数字、空格、特殊字符5种类型字符中的4种。支持的特殊字符为~`!?,.;-_'(){}[]/<>@#$%^&*+|\=。 不可和用户名相同或用户名的倒序字符相同。 不可以为常见的易破解密码，例如Admin@12345。
且会匹配不足36个字节截断前缀索引） 。 超过亿级别的数据，如果有模糊匹配或者等值/in条件，可以使用倒排索引（Doris 2.x版本开始支持）或者Bloomfilter。如果是低基数列的正交查询适合使用bitmap索引（bitmap索引的基数在10000~100000之间效果较好）。
默认值“0 1 * * 6”表示在每周六的1点执行任务。仅在启用自动执行Balance功能时有效。 修改此参数时，表达式介绍如表1所示。支持“*”表示连续的时间段。 表1 执行表达式参数解释 列 说明 第1列 分钟，参数值为0～59。 第2列 小时，参数值为0～23。 第3列 日期，参数值为1～31。
默认值“0 1 * * 6”表示在每周六的1点执行任务。仅在启用自动执行Balance功能时有效。 修改此参数时，表达式介绍如表1所示。支持“*”表示连续的时间段。 表1 执行表达式参数解释 列 说明 第1列 分钟，参数值为0～59。 第2列 小时，参数值为0～23。 第3列 日期，参数值为1～31。
创建FlinkServer作业写入数据至ClickHouse表 本章节适用于MRS 3.1.2及之后的版本。 操作场景 Flink通过对接ClickHouse的ClickHouseBalancer实例进行读写，有效避免ClickHouse流量分发问题。FlinkSQL与ClickHouse数据类型对应关系如下表所示。
迁移Kafka节点内数据 操作场景 用户可以根据业务需求，通过Kafka客户端命令，在不停止服务的情况下，进行节点内磁盘间的分区数据迁移。也可以通过KafkaUI进行分区迁移。 前提条件 MRS集群管理员已明确业务需求，并准备一个Kafka用户（属于kafkaadmin组，普通模式不需要）。
MRS集群磁盘如何分区的？ MRS集群即发即用，不需用户自行规划磁盘分区。集群节点创建成功后，节点的操作系统磁盘分区说明如表1所示。 表1 MRS集群节点OS盘分区说明 分区类型 分区目录 容量 用途 OS分区 / 220GB 操作系统根分区目录和程序存放目录，包括了所有目录（除去下面指定的目录）。
使用Flume服务端从Kafka采集日志保存到HDFS 该任务指导用户使用Flume服务端从Kafka的Topic列表(test1)采集日志保存到HDFS上“/flume/test”目录下。 本配置默认集群网络环境是安全的，数据传输过程不需要启用SSL认证。如需使用加密方式，请参
ALM-14026 DataNode块数超过阈值 告警解释 系统每30秒周期性检测每个DataNode上的块数，当检测到当前的DataNode节点上块数超过阈值时产生该告警。 如果平滑次数为1，DataNode节点上的块数小于或等于阈值时，告警恢复；如果平滑次数大于1，DataN
est' tblproperties('orc.compress'='SNAPPY'); 当前Impala使用OBS存储时，同一张表中，不支持分区和表存储位置处于不同的桶中。 例如：创建分区表指定存储位置为OBS桶1下的文件夹，此时修改表分区存储位置的操作将不会生效，在实际插入数据时以表存储位置为准。
est' tblproperties('orc.compress'='SNAPPY'); 当前Impala使用OBS存储时，同一张表中，不支持分区和表存储位置处于不同的桶中。 例如：创建分区表指定存储位置为OBS桶1下的文件夹，此时修改表分区存储位置的操作将不会生效，在实际插入数据时以表存储位置为准。
submitTopology(args[0], conf, builder.createTopology()); } Storm不支持将HDFS的目的文件路径设置为HDFS的SM4加密分区。 部署运行及结果查看 导出本地jar包，请参见打包Strom样例工程应用。 将1导
若JobServer部署节点IP为：192.168.0.192、192.168.0.168、192.168.0.23 ， 则最小IP为192.168.0.23。 脚本支持一次性更新一个或多个服务客户端。 以omm用户登录最小IP节点，执行更新服务客户端的脚本。 cd ${BIGDATA_HOME}/Fusi
分别登录主备OMS节点，查看磁盘使用信息。 执行以下命令，查看“/”目录的可用空间是否大于30GB。 df -h / 否，清理磁盘空间。 是，检查结束。 检查集群是否已经支持root补丁特性 集群是否已经安装了MRS 3.1.0.0.8及之后版本的任意一个补丁。 是，可以直接安装MRS 3.1.0.0.16补丁，此时安装MRS
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
