检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Socket Reader #1 for port xxx | Auth successful for mapred/hadoop.<系统域名>@<系统域名> (auth:KERBEROS) | Server.java:1388 2021-07-21 16:35:27,105 | INFO
Socket Reader #1 for port 8032 | Auth successful for mapred/hadoop.<系统域名>@<系统域名> (auth:KERBEROS) | Server.java:1388 2016-07-21 16:35:27,105 | INFO
配置ClickHouse副本间数据强一致 本章节适用于MRS 3.3.0-LTS及之后版本。 操作场景 ClickHouse支持多副本能力,进行本地表写入的时候,当前节点的数据会立即更新成功,但其他副本之间的数据同步是异步的。 本章节主要介绍如何配置ClickHouse保证副本间数据强一致。
如下通过一个Mapreduce工作流的示例演示如何配置,并通过Shell命令调用。 场景说明 假设存在这样的业务需求: 每天需要对网站的日志文件进行离线分析,统计出网站各模块的访问频率(日志文件存放在HDFS中)。 通过客户端中模板与配置文件提交任务。 父主题: 开发Oozie配置文件
用户可登录FusionInsight Manager,选择“系统 > 权限 > 域和互信”,查看“本端域”参数,即为当前系统域名。 “hive/hadoop.<系统域名>”为用户名,用户的用户名所包含的系统域名所有字母为小写。 执行如下命令,启用Hive admin权限。 set role admin; 执行如下命令,删除永久函数。
test:为准备集群认证用户信息创建的用户名称,例如developuser。 系统域名:登录FusionInsight Manager后,选择“系统 > 权限 > 域和互信”,查看“本端域”参数,即为当前系统域名。 父主题: 准备MapReduce应用开发环境
用户可登录FusionInsight Manager,选择“系统 > 权限 > 域和互信”,查看“本端域”参数,即为当前系统域名。 “hive/hadoop.<系统域名>”为用户名,用户的用户名所包含的系统域名所有字母为小写。 执行如下命令,启用Hive admin权限。 set role admin; 执行如下命令,删除永久函数。
MRS集群版本如何进行升级? MRS普通版本集群 MRS普通版本集群无法实现低版本到高版本的平滑升级。如需体验新版本集群相关能力,建议重新创建一个新版本的集群,然后将老版本集群的数据迁移到新的集群。 MRS LTS版本集群 MRS LTS版本集群支持版本升级能力,可从历史版本升级
如下通过一个Mapreduce工作流的示例演示如何配置文件,并通过Shell命令调用。 场景说明 假设存在这样的业务需求: 每天需要对网站的日志文件进行离线分析,统计出网站各模块的访问频率(日志文件存放在HDFS中)。 通过客户端中模板与配置文件提交任务。 父主题: 开发Oozie配置文件
如下通过一个MapReduce工作流的示例演示如何配置,并通过Shell命令调用。 场景说明 假设存在这样的业务需求: 每天需要对网站的日志文件进行离线分析,统计出网站各模块的访问频率(日志文件存放在HDFS中)。 通过客户端中模板与配置文件提交任务。 父主题: 开发Oozie配置文件
如下通过一个MapReduce工作流的示例演示如何配置文件,并通过Shell命令调用。 场景说明 假设存在这样的业务需求: 每天需要对网站的日志文件进行离线分析,统计出网站各模块的访问频率(日志文件存放在HDFS中)。 通过客户端中模板与配置文件提交任务。 父主题: 开发Oozie配置文件
r.principal=spark2x/hadoop.<系统域名>@<系统域名>;saslQop=auth-conf;auth=KERBEROS;principal=spark2x/hadoop.<系统域名>@<系统域名>;" 执行以下命令,同时在SparkSQL和HBase中创建表。例如创建表hbaseTable。
r.principal=spark2x/hadoop.<系统域名>@<系统域名>;saslQop=auth-conf;auth=KERBEROS;principal=spark2x/hadoop.<系统域名>@<系统域名>;" 执行以下命令,同时在SparkSQL和HBase中创建表。例如创建表hbaseTable。
配置DataNode节点容量不一致时的副本放置策略 操作场景 默认情况下,NameNode会随机选择DataNode节点写文件。当集群内某些数据节点的磁盘容量不一致(某些节点的磁盘总容量大,某些总容量小),会导致磁盘总容量小的节点先写满。通过修改集群默认的DataNode写数据时
配置DataNode节点容量不一致时的副本放置策略 操作场景 默认情况下,NameNode会随机选择DataNode节点写文件。当集群内某些数据节点的磁盘容量不一致(某些节点的磁盘总容量大,某些总容量小),会导致磁盘总容量小的节点先写满。通过修改集群默认的DataNode写数据时
oldap > 修改配置”。 “Ldap服务监听端口”参数值即为oldap端口。 查询域名方法: 登录Manager,选择“系统 > 权限 > 域和互信”。 “本端域”参数即为域名。 例如当前系统域名为“9427068F-6EFA-4833-B43E-60CB641E5B6C.COM”。
r.principal=spark2x/hadoop.<系统域名>@<系统域名>;saslQop=auth-conf;auth=KERBEROS;principal=spark2x/hadoop.<系统域名>@<系统域名>;" 说明: 其中“<zkNode1_IP>:<zkNode1_Port>
HBase全局二级索引介绍 场景介绍 使用HBase二级索引可以加速带Filter的条件查询,支持HIndex(本地索引,即Local Secondary Index,简称为LSI)和全局二级索引(Global Secondary Index,简称为GSI)。全局二级索引相较于本
'world,'anyone : cdrwa 'sasl,'userA@<系统域名> : cdrwa 使用setAcl命令修改权限。设置新权限命令如下: setAcl /test sasl:用户名@<系统域名>:权限值 例如仅保留userA用户的所有权限,删除anyone用户的rw权限。
创建HBase全局二级索引 场景介绍 在用户的表中预先存在大量数据的情况下,可以在某个列上添加索引。 对于未建立索引的用户表,该工具允许用户同时添加和构建索引。 创建HBase全局二级索引 在HBase客户端执行以下命令即可添加或创建索引,执行命令后,指定的索引将被添加到表中: hbase