检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
KrbServer及LdapServer KrbServer及LdapServer基本原理 KrbServer及LdapServer开源增强特性 父主题： 组件介绍
初始化 使用Colocation前需要进行kerberos安全认证。
15 16 17 import java.io.Seriablizale; // 该类作为快照的一部分，保存用户自定义状态 public class UDFState implements Serializable { private long count; // 初始化用户自定义状态
在批量初始化阶段 ，先采用Spark批量写入Hudi表，再用Flink基于Flink状态索引写入不会有问题，原因是Flink冷启动的时候会遍历所有的数据文件生成状态索引。 实时入湖场景中，Spark引擎采用Bucket索引，Flink引擎可以用Bucket索引或者状态索引。
Spark Application的结构 Spark Application的结构可分为两部分：初始化SparkContext和主体程序。 初始化SparkContext：构建Spark Application的运行环境。
二次开发代码样例如下： // 初始化配置,开启事务特性 Properties props = new Properties(); props.put("enable.idempotence", true); props.put("transactional.id", "transaction1
二次开发代码样例如下： // 初始化配置,开启事务特性 Properties props = new Properties(); props.put("enable.idempotence", true); props.put("transactional.id", "transaction1
初始化 使用Colocation前需要进行kerberos安全认证。
初始化 使用Colocation前需要进行kerberos安全认证。
初始化 使用Colocation前需要设置运行用户。
初始化 使用Colocation前需要设置运行用户。
执行以下命令初始化环境变量。 cd /opt/Bigdata/client source bigdata_env 如果当前集群已开启Kerberos认证，执行以下命令进行认证。 如果当前集群未开启Kerberos认证，则无需执行本步骤。
执行以下命令初始化环境变量。 cd /opt/Bigdata/client source bigdata_env 如果当前集群已开启Kerberos认证，执行以下命令进行认证。 如果当前集群未开启Kerberos认证，则无需执行本步骤。
KrbServer及LdapServer开源增强特性 集群内服务认证 在使用安全模式的MRS集群中，任意服务间的相互访问基于Kerberos安全架构方案。集群内某个服务（例如HDFS）在启动准备阶段的时候，会首先在Kerberos中获取该服务对应的服务名称sessionkey（即keytab
Hive SQL逻辑优化 操作场景 在Hive上执行SQL语句查询时，如果语句中存在“(a&b) or (a&c)”逻辑时，建议将逻辑改为“a & (b or c)”。 样例 假设条件a为“p_partkey = l_partkey”，优化前样例如下所示： select
ALM-25501 KerberosServer请求数高 告警解释 系统每30秒周期性检查KerberosServer节点的处理请求数，并把实际处理的请求数和阈值相比较，当请求数连续多次（默认值为5）超过设定阈值时，系统将产生此告警。 平滑次数可配置，当平滑次数为1，进程连接数小于或等于阈值时
管理FlinkServer作业 查看FlinkServer作业健康状况 导入导出FlinkServer作业信息 配置FlinkServer作业运行残留信息自动清理 配置FlinkServer作业重启策略 配置FlinkServer作业中添加第三方依赖jar 配置FlinkServer
ALTER MATERIALIZED VIEW 语法 ALTER MATERIALIZED VIEW QUALIFIEDNAME SET PROPERTIES PROPERTY_NAME=PROPERTY_VALUE; 描述 修改物化视图的属性，相关属性可以参考CREATE MATERIALIZED
内存不足导致HDFS NameNode启动失败 问题背景与现象 场景一：重启HDFS服务后，HDFS的状态为Bad，且NameNode实例状态异常，并且很久没有退出安全模式。 场景二：NameNode启动时，启动超时后启动失败，原生页面无法打开。 原因分析 在NameNode运行日志
Spark Core数据序列化 操作场景 Spark支持两种方式的序列化 ： Java原生序列化JavaSerializer Kryo序列化KryoSerializer 序列化对于Spark应用的性能来说，具有很大的影响。在特定的数据格式的情况下，KryoSerializer的性能可以达到
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
