检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
原因分析 查看Kerberos日志“/var/log/Bigdata/kerberos/krb5kdc.log”,发现有集群外的IP使用Kafka用户连接,导致多次认证失败,最终导致Kafka账号被锁定。 Jul 11 02:49:16 192-168-1-91 krb5kdc[1863](info):
取值范围:1~6400000 1048576 设置单个HDFS目录下最大可容纳的文件数目。保存修改的配置。保存完成后请重新启动配置过期的服务或实例以使配置生效。 用户尽量将数据做好存储规划,可以按时间、业务类型等分类,不要单个目录下直属的文件过多,建议使用默认值,单个目录下约100万条。 父主题:
取值范围:1~6400000 1048576 设置单个HDFS目录下最大可容纳的文件数目。保存修改的配置。保存完成后请重新启动配置过期的服务或实例以使配置生效。 用户尽量将数据做好存储规划,可以按时间、业务类型等分类,不要单个目录下直属的文件过多,建议使用默认值,单个目录下约100万条。 父主题:
WebUI的Flink作业开发界面添加自定义参数“table.optimizer.graph-merge-enabled”为“true”开启Lookup算子复用功能,可参考如何创建FlinkServer作业。 SQL示例: create table hudimor ( uuid varchar(20), name
Spark支持使用Scala、Java和Python语言进行程序开发,由于Spark本身是由Scala语言开发出来的,且Scala语言具有简洁易懂的特性,推荐用户使用Scala语言进行Spark应用程序开发。 按不同的语言分,Spark的API接口如表1所示。 表1 Spark API接口 功能 说明
程为: 加载HDFS服务配置文件,并进行kerberos安全认证。 认证通过后,实例化Filesystem。 此处kerberos安全认证需要使用到的keytab文件,请提前准备。 配置文件介绍 登录HDFS时会使用到如表1所示的配置文件。这些文件均已导入到“hdfs-examp
查看HBase的HMaster日志,报如下错误: 检查HDFS上HBase的路径发现acl表路径丢失。 解决办法 停止HBase组件。 在HBase客户端使用hbase用户登录认证,执行如下命令。 例如: hadoop03:~ # source /opt/client/bigdata_env hadoop03:~
Hudi表主键参数“table.primarykey.mapping”未配置。 处理步骤 登录FusionInsight Manager,选择“集群 > 服务 > CDL”,单击“CDLService UI”右侧的超链接进入CDLService WebUI界面,在数据同步任务作业列表界面选择该作业所在行的“更多
修改集群服务配置参数 用户可通过MRS管理控制台的集群组件配置页面修改各组件的配置参数。 登录MRS控制台,在左侧导航栏选择“现有集群”,单击集群名称。 选择“组件管理 > 服务名称 > 服务配置”。 下拉列表默认显示“基础配置”,如果需要修改更多参数,请选择“全部配置”,界面上
port的值修改为Hive提供Thrift服务的端口。 HiveServer业务平面IP地址可登录FusionInsight Manager,选择“集群 > 服务 > Hive > 实例”查看。 port可在FusionInsight Manager界面,选择“集群 > 服务 >
相同路径下的示例工程。 安装Maven 开发环境的基本配置。用于项目管理,贯穿软件开发生命周期。 准备开发用户 参考准备MRS应用开发用户进行操作,准备用于应用开发的集群用户并授予相应权限。 7-zip 用于解压“*.zip”和“*.rar”文件,支持7-zip 16.04版本。
Kerberos认证服务的端口有哪些? 答: Kerberos认证服务的常用端口有21730(TCP)、21731(TCP/UDP)、21732(TCP/UDP)。 父主题: 用户认证及权限类
更换MRS集群证书 更换CA证书 更换HA证书 父主题: MRS集群安全配置
回滚补丁 回滚补丁前检查 回滚补丁 回滚补丁后操作 父主题: MRS 3.3.0.3.1补丁说明
配置MRS集群通过Guardian对接OBS 配置Guardian服务对接OBS MRS集群服务对接OBS示例 父主题: 配置MRS集群存算分离
表示当本地的RocksDB目录读取失败时,false表示用户可选择退出进程,true表示清空脏数据。 merge_tree_metadata_cache.lru_cache_size 1GB 用于缓存part元数据的RocksDB实例中的LRU大小,0表示不限制。 父主题: ClickHouse企业级能力增强
分析节点,必须绑定公网才能保证作业正常运行。 sqoop实例一般分布在Master节点,但作业真正运行在分析节点,因此创建数据库连接,是和Master节点通信,作业是通过Yarn任务分发到分析节点执行。 检查Sqoop实例安装目录下是否放置数据库驱动jar包,并保证jar包路径正
WebUI界面中有配置账号权限的功能吗? 答: Hue WebUI界面服务没有配置账号权限的功能。 用户可以通过在Manager管理界面中配置集群用户角色和用户组来管理用户的权限,从而实现Hue权限的配置。 父主题: 用户认证及权限类
静态服务资源概述 静态服务资源简介 集群分配给各个服务的资源是静态服务资源,这些服务包括Flume、HBase、HDFS、IoTDB、Kafka(Kafka组件仅MRS 3.2.0及之后版本支持静态服务池)和Yarn。每个服务的计算资源总量固定,不与其他服务共享,是静态的。租户通
创建租户时,便可根据业务需求,为租户配置计算资源、存储资源和关联服务;为租户添加用户,并为用户绑定需要的角色。 创建一级租户的用户,需要绑定“Manager_administrator”或“System_administrator”角色。 创建子租户的用户,至少需要绑定父租户对应的角色。 管理租户 管理租户目录