检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如何配置MRS集群knox内存? 以root用户登录集群Master节点。 在Master节点执行如下命令打开gateway.sh文件。 su omm vim /opt/knox/bin/gateway.sh 将“APP_MEM_OPTS=""” 修改为 “APP_MEM_OPTS="-Xms256m
source /opt/client/bigdata_env 认证集群用户(未启用kerberos的集群可跳过此步骤)。 人机用户:kinit kerberos用户 机机用户: kinit -kt 认证文件路径 kerberos用户 运行opentsdb样例程序。 java -cp /opt
集群互信管理 MRS集群互信概述 修改MRS集群系统域名 配置MRS集群间互信 配置互信MRS集群的用户权限 父主题: MRS集群安全配置
配置MRS集群通过Guardian对接OBS 配置Guardian服务对接OBS MRS集群服务对接OBS示例 父主题: 配置MRS集群存算分离
更换MRS集群证书 更换CA证书 更换HA证书 父主题: MRS集群安全配置
回滚补丁 回滚补丁前检查 回滚补丁 回滚补丁后操作 父主题: MRS 3.3.0.3.1补丁说明
Kerberos认证服务的端口有哪些? 答: Kerberos认证服务的常用端口有21730(TCP)、21731(TCP/UDP)、21732(TCP/UDP)。 父主题: 用户认证及权限类
创建HDFS多线程任务 功能简介 建立多线程任务,同时启动多个实例执行文件操作。 代码样例 如下是删除文件的代码片段,详细代码请参考com.huawei.bigdata.hdfs.examples中的HdfsExample类。 // 业务示例2:多线程 final int THREAD_COUNT
创建HDFS多线程任务 功能简介 建立多线程任务,同时启动多个实例执行文件操作。 代码样例 如下是删除文件的代码片段,详细代码请参考com.huawei.bigdata.hdfs.examples中的HdfsExample类。 // 业务示例2:多线程 final int THREAD_COUNT
Alluxio初始化 功能简介 在使用Alluxio提供的API之前,需要先进行Alluxio初始化操作。过程为: 加载HDFS服务配置文件。 实例化Filesystem。 使用HDFS的API。 代码样例 如下是代码片段,详细代码请参考ExampleClient类。 /** * load
程为: 加载HDFS服务配置文件,并进行kerberos安全认证。 认证通过后,实例化Filesystem。 此处kerberos安全认证需要使用到的keytab文件,请提前准备。 配置文件介绍 登录HDFS时会使用到如表1所示的配置文件。这些文件均已导入到“hdfs-examp
以能够更好的进行迁移决策。 业务信息调研 大数据平台及业务的架构图。 大数据平台和业务的数据流图(包括峰值和均值流量等)。 识别平台数据接入源、大数据平台数据流入方式(实时数据上报、批量数据抽取)、分析平台数据流向。 数据在平台内各个组件间的流向,比如使用什么组件采集数据,采集
原因分析 查看Kerberos日志“/var/log/Bigdata/kerberos/krb5kdc.log”,发现有集群外的IP使用Kafka用户连接,导致多次认证失败,最终导致Kafka账号被锁定。 Jul 11 02:49:16 192-168-1-91 krb5kdc[1863](info):
WebUI界面中有配置账号权限的功能吗? 答: Hue WebUI界面服务没有配置账号权限的功能。 用户可以通过在Manager管理界面中配置集群用户角色和用户组来管理用户的权限,从而实现Hue权限的配置。 父主题: 用户认证及权限类
静态服务资源概述 静态服务资源简介 集群分配给各个服务的资源是静态服务资源,这些服务包括Flume、HBase、HDFS、IoTDB、Kafka(Kafka组件仅MRS 3.2.0及之后版本支持静态服务池)和Yarn。每个服务的计算资源总量固定,不与其他服务共享,是静态的。租户通
执行如下命令下载补丁,如果已存在,可跳过此步骤。 wget ${补丁下载地址} 补丁下载地址请参考补丁下载地址。 修改相应权限后,切到omm用户下,并解压补丁工具(MRS_3.1.0_TROS_Tools_patch_20240430.tar.gz)至当前目录“/home/omm”。
MRS 3.1.0 运维通道补丁说明 安装补丁前必读 安装补丁前准备 安装补丁 补丁安装后操作 回滚补丁 补丁基本信息 父主题: MRS集群补丁说明
创建IoTDB用户自定义函数(UDF) IoTDB UDF概述 运行IoTDB UDF样例程序 父主题: 使用IoTDB
分析节点,必须绑定公网才能保证作业正常运行。 sqoop实例一般分布在Master节点,但作业真正运行在分析节点,因此创建数据库连接,是和Master节点通信,作业是通过Yarn任务分发到分析节点执行。 检查Sqoop实例安装目录下是否放置数据库驱动jar包,并保证jar包路径正
查看HBase的HMaster日志,报如下错误: 检查HDFS上HBase的路径发现acl表路径丢失。 解决办法 停止HBase组件。 在HBase客户端使用hbase用户登录认证,执行如下命令。 例如: hadoop03:~ # source /opt/client/bigdata_env hadoop03:~