检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
some.config.option", "some-value") .getOrCreate(); // 通过隐式转换，将RDD转换成DataFrame JavaRDD<FemaleInfo> femaleInfoJavaRDD =
2023年4月28日 更新内容 服务模块 主要变更点 ClickHouse 升级到22.3.2.2版本。 ClickHouse支持多租户，通过CPU优先级和内存限额分配资源。 Flink 升级到1.15.0版本。 FlinkServer支持审计日志。 Hadoop 升级到3.3.1版本。
中恢复。这里主要介绍Yarn模式下的HA方案。 Flink支持HA模式和Job的异常恢复。这两项功能高度依赖ZooKeeper，在使用之前用户需要在“flink-conf.yaml”配置文件中配置ZooKeeper，配置ZooKeeper的参数如下： high-availability:
directory"配置选项设置成“/tmp”或者“/opt/Bigdata/tmp”。 当用户将"blob.storage.directory"配置选项设置成自定义目录时，需要手动赋予用户该目录的owner权限。以下以MRS的admin用户为例。 修改Flink客户端配置文件conf/flink-conf
多个HiveServer之间或者Hive与Spark之间共用的元数据未同步，导致不同HiveServer实例内存数据不一致，造成UDF不生效。 解决方案 需要将新建的UDF信息同步到HiveServer中，执行reload function操作即可。 父主题： 使用Hive
FlinkServer节点： 登录Manager，选择“集群 > 服务 > Flink > 实例”，查看FlinkServer所在的“业务IP”。 若FlinkServer实例所在节点与包含HBase服务客户端的安装节点相同，则该节点不执行此步骤。 登录Manager，选择“集群 >
HBase shell客户端在使用中有INFO信息打印在控制台导致显示混乱 用户问题 在使用HBase shell中会有INFO信息打印在控制台，导致显示混乱，用户在输入命令前需要按回车符清理控制台。如下图所示： 原因分析 HBase客户端中默认日志打印设置为“INFO,cons
在Flink Yarn的集群中，AM与Flink JobManager在同一个Container中。AM会将JobManager的RPC地址通过HDFS共享的方式通知各个TaskManager，TaskManager启动成功后，会向JobManager注册。 等所有TaskMana
some.config.option", "some-value") .getOrCreate(); // 通过隐式转换，将RDD转换成DataFrame JavaRDD<FemaleInfo> femaleInfoJavaRDD =
修改节点主机名后导致MRS集群状态异常 问题现象 修改节点主机名后，MRS集群状态异常。 原因分析 修改节点hostname导致兼容性问题和故障。 处理步骤 以root用户登录集群的任意节点。 在集群节点中执行cat /etc/hosts命令，查看各个节点的hostname值，根据此值来配置newhostname变量值
security包的LoginUtil类中。 /** * 用户自己申请的机机账号keytab文件名称 */ private static final String USER_KEYTAB_FILE = "用户自己申请的机机账号keytab文件名称，例如user.keytab";
ALM-16005 上个周期Hive SQL执行失败超过阈值（2.x及以前版本） 告警解释 上个10min的周期内，Hive SQL执行失败数超过阈值。该告警每10min钟检测一次，如果上个10min周期内，发生Hive SQL执行失败数大于设定的阈值时候，会发生该告警。在下个10min周期，如果运行失败的Hive
arch64时值为“1.0.0-hw-aarch64”，os为x86_64时值为“1.0.0”。编译环境因为一些配置原因导致maven未能通过os正确解析该变量时，可采用手动修改pom.xml方式进行规避正确编译。 在pom.xml中手动修改直接或间接依赖hbase-common
arch64时值为“1.0.0-hw-aarch64”，os为x86_64时值为“1.0.0”。编译环境因为一些配置原因导致maven未能通过os正确解析该变量时，可采用手动修改pom.xml方式进行规避正确编译。 在pom.xml中手动修改直接或间接依赖hbase-common
arch64时值为“1.0.0-hw-aarch64”，os为x86_64时值为“1.0.0”。编译环境因为一些配置原因导致maven未能通过os正确解析该变量时，可采用手动修改pom.xml方式进行规避正确编译。 在pom.xml中手动修改直接或间接依赖hbase-common
ckup目录。 执行chown -R omm:wheel LocalBackup命令修改文件所属用户、群组。 执行chmod 700 LocalBackup命令修改文件读写权限。 登录MRS Manager页面重新执行周期备份。 父主题： 集群管理类
导入并配置Kafka样例工程 操作步骤 参考获取MRS应用开发样例工程，下载样例工程到本地。 解压样例工程并找到kafka-examples目录。 导入样例工程到Eclipse开发环境。 打开Eclipse，选择“File > Import”。显示“Import”窗口，选择Existing
原因分析 查看Kerberos日志“/var/log/Bigdata/kerberos/krb5kdc.log”，发现有集群外的IP使用Kafka用户连接，导致多次认证失败，最终导致Kafka账号被锁定。 Jul 11 02:49:16 192-168-1-91 krb5kdc[1863](info):
ve中默认是ORC的。 处理步骤 登录Spark客户端节点，执行如下命令，进入spark-sql： cd {客户端安装目录} source bigdata_env source Spark2x/component_env kinit 组件业务用户（普通模式无需执行kinit） spark-sql
Kakfa消费者读取单条记录过长问题 问题背景与现象 和“Kafka生产者写入单条记录过长问题”相对应的，在写入数据后，用户开发一个应用，以消费者调用新接口（org.apache.kafka.clients.consumer.*）到Kafka上读取数据，但读取失败，报异常大致如下：
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
