检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
keytab”表示的是用户目录。 principal名。 security.kerberos.login.principal: abc222 对于HA模式,如果配置了ZooKeeper,还需要设置ZK kerberos认证相关的配置。配置如下: zookeeper.sasl.disable: false
HetuEngine物化视图概述 HetuEngine物化视图功能适用于MRS 3.2.0及以后版本。 HetuEngine物化视图背景介绍 HetuEngine具备物化视图能力。在实际运用中,将高频访问的SQL查询和有高耗时的算子(连接, 聚合等算子)的SQL通过建立物化视图进
source /opt/client/bigdata_env 判断集群认证模式。 安全模式,执行kinit命令进行用户认证。 例如,使用oozieuser用户进行认证。 kinit oozieuser 普通模式,执行4。 执行以下命令,进入样例目录。 cd /opt/client/
Kerberos集群故障。 ZooKeeper集群故障或假死。 Storm集群中主备Nimbus状态异常。 处理步骤 检查Kerberos集群状态(普通模式集群跳过此步骤) 在FusionInsight Manager管理界面,选择“集群 > 待操作集群的名称 > 服务”。 查看Kerberos服务的运行状态是否为“良好”。
/hacom/script/status_ha.sh,查询当前HA管理的disaster资源状态是否正常(单机模式下面,disaster资源为normal状态;双机模式下,disaster资源在主节点为normal状态,在备节点为stopped状态。) 是,执行7。 否,执行5。
k写hudi,则至少提交的checkpoint要超过这个阈值;如果是批写Hudi,则批写次数要超过这个阈值。 建议 MOR表下游采用批量读模式,采用clean的版本数为compaction版本数+1。 MOR表一定要保证Compaction Plan能够被成功执行,Compaction
HDFS文件系统目录简介 HDFS是Hadoop的分布式文件系统(Hadoop Distributed File System),实现大规模数据可靠的分布式读写。HDFS针对的使用场景是数据读写具有“一次写,多次读”的特征,而数据“写”操作是顺序写,也就是在文件创建时的写入或者在
SparkSQL UDF功能的权限控制机制 问题 SparkSQL中UDF功能的权限控制机制是怎样的? 回答 目前已有的SQL语句无法满足用户场景时,用户可使用UDF功能进行自定义操作。 为确保数据安全以及UDF中的恶意代码对系统造成破坏,SparkSQL的UDF功能只允许具备a
ive/HetuEngine读不到新数据的问题 解决Flink创建Hudi隐式分区表失败的问题 解决Hive使用Tez引擎执行了union all后生产了HIVE_UNION_DIR目录,后面再使用concatenate语句对分区执行小文件合并时必现数据丢失的问题 解决更改集群ntp服务器失败的问题
16T的文本数据转成4T Parquet数据失败 问题 使用默认配置时,16T的文本数据转成4T Parquet数据失败,报如下错误信息。 Job aborted due to stage failure: Task 2866 in stage 11.0 failed 4 times
16T的文本数据转成4T Parquet数据失败 问题 使用默认配置时,16T的文本数据转成4T Parquet数据失败,报如下错误信息。 Job aborted due to stage failure: Task 2866 in stage 11.0 failed 4 times
row) 对于FETCH FIRST子句,参数ONLY或WITH TIES控制结果集中包含哪些行。 如果指定了ONLY参数,则结果集将限制为包含参数数量的前若干行。 如果指定了WITH TIES参数,则要求必须带ORDER BY子句。其结果集中包含符合条件的前若干行基本结果集以及额
数,若原来为偶数则修改为奇数; 执行命令vi /etc/ldap.conf进入编辑模式,按“Insert”键开始编辑,然后将URI配置项的前两个IP进行调换。 修改完成后按“Esc”键退出编辑模式,并输入:wq保存退出。 执行命令service nscd restart,重启nscd服务,等待5分钟,再次执行id
TABLES命令用于显示所有在当前database中的table,或所有指定database的table。 命令格式 SHOW TABLES [IN db_name]; 参数描述 表1 SHOW TABLES参数描述 参数 描述 IN db_name Database名称,仅当需要显示指定Database的所有Table时配置。
登录主Master节点。 执行如下命令查看OMS状态是否正常,主OMS节点executor和knox进程是否正常。knox是双主模式,executor是单主模式。 /opt/Bigdata/om-0.0.1/sbin/status-oms.sh 以omm用户执行jmap -heap
keytab hbaseuser 执行hbase shell命令。 进入HBase命令行运行模式(也称为CLI客户端连接),如下所示。 hbase(main):001:0> 您可以在命令行运行模式中运行help命令获取HBase的命令参数的帮助信息。 获取HBase replication指标的命令
配置矢量化读取ORC数据 配置场景 ORC文件格式是一种Hadoop生态圈中的列式存储格式,它最初产生自Apache Hive,用于降低Hadoop数据存储空间和加速Hive查询速度。和Parquet文件格式类似,它并不是一个单纯的列式存储格式,仍然是首先根据行组分割整个表,在每
/openssl的文件目录权限为755。 执行su omm命令,切换到omm用户。 执行openssl命令,查看是否能够进入openssl模式。 如果能够成功进入,则表示权限修改成功,如果不能进入,则表示权限未修改成功。 如果权限未修改成功,请检查执行的命令是否正确,或者联系运维人员。
它提供了对这一批次的“Row”进行随机访问和迭代访问的接口。可以选择在一次“transform”方法调用中输出任意数量的数据点,需要注意的是,输出数据点的类型必须与在“beforeStart”方法中设置的一致,而输出数据点的时间戳必须是严格单调递增的。 下面是一个实现了“void
3.1402231402231404 参数解释: deploy-mode:Spark driver的运行模式,可设置为client或者cluster,本示例中使用client模式提交该作业。 conf:额外的配置属性,例如本示例中使用keytab文件进行用户认证,配置以下参数: spark