检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Savepoint:一个Savepoint就是应用状态的一致性快照,Savepoint与Checkpoint机制相似,但Savepoint需要手动触发,Savepoint保证了任务在升级或迁移时,不丢失当前流应用的状态信息,便于任何时间点的任务暂停和恢复。
四种类型实际命令示,以ReadFromKafka为例,集群域名为“HADOOP.COM”: 命令1: bin/flink run --class com.huawei.bigdata.flink.examples.ReadFromKafka /opt/client/FlinkKafkaJavaExample.jar
在HetuEngine所在集群的所有节点的“/etc/hosts”文件中,添加待对接数据源所在集群的主机名称和对应的IP映射,及其“/etc/hosts”文件中的“10.10.10.10 hadoop.系统域名”(如“10.10.10.10 hadoop.hadoop.com”),
<系统域名>@<系统域名> 说明: “flume_server/hadoop.<系统域名>”为用户名,用户的用户名所包含的系统域名所有字母为小写。
用于程序调测或运行的节点,需要与MRS集群内节点网络互通,同时配置hosts域名信息。 场景一:准备本地Windows开发环境调测程序所需配置文件。
mysqllink 数据库服务器 MySQL数据库的IP地址或域名。 192.168.1.110 端口 MySQL数据库的端口。 3306 数据库名称 MySQL数据库的名称。 sqoop 用户名 拥有MySQL数据库的读、写和删除权限的用户。 admin 密码 用户的密码。
配置弹性伸缩规则 Master规格升级 随着用户业务的增长,Core节点的扩容,CPU使用率变高,而Master节点规格已经不满足用户需求时,则需要升级Master节点规格。
HetuEngine基于Ranger权限管控 新安装集群默认采用Ranger进行鉴权,对于历史版本升级集群或者手动停用了Ranger鉴权的集群,可参考如下操作重新启用Ranger鉴权。
补丁基本信息说明 表1 补丁基本信息 补丁号 MRS_3.3.0-LTS.1.1 发布时间 2024-12-20 解决的问题 解决Manager问题: 修改Chrony的域名会导致Nodeagent无法启动。
四种类型实际命令示,以ReadFromKafka为例,集群域名为“HADOOP.COM”: 命令1: bin/flink run --class com.huawei.bigdata.flink.examples.ReadFromKafka /opt/client/FlinkKafkaJavaExample.jar
HTML输入:HTML网页数据输入步骤,配置获取HTML网页文件目标数据到指定字段。 Hive输入:Hive表输入步骤,配置Hive表的列定义到指定字段。 Spark输入:SparkSQL表输入步骤,配置SparkSQL表的列定义到指定字段。
HTML输入:HTML网页数据输入步骤,配置获取HTML网页文件目标数据到指定字段。 Hive输入:Hive表输入步骤,配置Hive表的列定义到指定字段。 Spark输入:SparkSQL表输入步骤,配置SparkSQL表的列定义到指定字段。
解决的问题 MRS 3.1.2-LTS.2.6 修复问题列表: 修复log4j漏洞(CVE-2021-44228),log4j升级到2.17.2版本 包含MRS 3.1.2-LTS.2.2修复问题 补丁兼容关系 MRS 3.1.2-LTS.2.6补丁包中包含所有MRS 3.1.2-
MRS支持滚动补丁升级,可视化补丁发布信息,一键式补丁安装,无需人工干预,不停业务,保障用户集群长期稳定。 MRS服务支持运维授权的功能,用户在使用MRS集群过程中,发生问题可以在MRS页面发起运维授权,由运维人员帮助用户快速定位问题,用户可以随时收回该授权。
图1 HBase HIndex 索引数据不支持滚动升级。 复合索引:用户必须将所有参与复合索引的列全部放入/删除,否则会导致数据不一致。 用户不应将任何split policy显式地配置到已建立索引的数据表中。 不支持mutation操作,如increment、append。
图1 HBase HIndex 索引数据不支持滚动升级。 复合索引:用户必须将所有参与复合索引的列全部放入/删除,否则会导致数据不一致。 用户不应将任何split policy显式地配置到已建立索引的数据表中。 不支持mutation操作,如increment、append。
图1 HIndex 索引数据不支持滚动升级。 组合索引限制。 用户必须在单次mutation中输入或删除参与组合索引的所有列。否则会导致不一致问题。
<系统域名> -Djava.security.krb5.conf=/opt/client/KrbClient/kerberos/var/krb5kdc/krb5.conf -Djava.security.auth.login.config=/opt/client/Spark2x/spark
<系统域名> -Djava.security.krb5.conf=/opt/client/KrbClient/kerberos/var/krb5kdc/krb5.conf -Djava.security.auth.login.config=/opt/client/Spark/spark
修改Manager系统域名 若没有及时重启KrbServer服务和其关联的所有服务,会导致集群内部KrbClient的配置参数异常,影响业务运行。 修改该参数后,请重启KrbServer服务和其关联的所有服务。