检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
理员可以设置互信的系统,使外部系统的用户可以在本系统中使用。每个系统用户安全使用的范围定义为“域”,不同的Manager系统需要定义唯一的域名。跨Manager访问实际上就是用户跨域使用。集群配置互信具体操作步骤请参考集群互信管理章节。 多集群互信场景下,以符合跨域访问的用户身份
安全认证的用户文件,可从已创建好的MRS集群中获取相关内容。 用于程序调测或运行的节点,需要与MRS集群内节点网络互通,同时配置hosts域名信息。 场景一:准备本地Windows开发环境调测程序所需配置文件。 下载并解压客户端软件包。 MRS 3.3.0之前,登录FusionInsight
服务配置”。 下拉列表默认显示“基础配置”,如果需要修改更多参数,请选择“全部配置”,界面上将显示该服务的全部配置参数导航树,导航树从上到下的一级节点分别为服务名称和角色名称。 图1 修改组件配置参数 在导航树中选择指定的参数分类,并在右侧修改对应参数值。 不确定参数的具体位置时,也可在右上角输入参数名进行搜索。
HBase本地二级索引介绍 场景介绍 HBase是基于Key-Value的分布式存储数据库,基于rowkeys对表中的数据按照字典进行排序。如果您根据指定的rowkey查询数据,或者扫描指定rowkey范围内的数据,HBase可以快速查找到需要读取的数据,从而提高效率。在大多数实
protocol' = 'SASL_PLAINTEXT', 'properties.kerberos.domain.name' = 'hadoop.系统域名' ); CREATE TABLE printSink( `user_id` VARCHAR, `user_name` VARCHAR
Kafka Topic监控页签在Manager页面不显示如何处理? 问: Kafka Topic监控页签在Manager页面不显示怎么办? 答: 分别登录集群Master节点,并切换用户为omm。 进入目录“/opt/Bigdata/apache-tomcat-7.0.78/we
迁移HBase索引数据 操作场景 MRS 1.7及其以后版本中使用的索引与以前MRS版本中HBase使用的二级索引都不兼容。因此,为了将索引数据从以前的版本(MRS 1.5及其以前版本)迁移到MRS 1.7及其以后版本,需要遵循以下步骤。 前提条件 迁移数据时旧版本集群应为MRS1
user.principal=spark/hadoop.<系统域名>@<系统域名>;saslQop=auth-conf;auth=KERBEROS;principal=spark/hadoop.<系统域名>@<系统域名>;" 其中“<server_IP>:<server_Port
如何关闭ZooKeeper的SASL认证? 问: 怎么关闭ZooKeeper SASL认证? 答: 登录FusionInsight Manager。 选择“集群 > 服务 > ZooKeeper > 配置 > 全部配置”。 在左侧导航栏选择“quorumpeer > 自定义”添加参数名称和值:zookeeper
no.acl.found”配置,修改参数值为true,保存配置即可。 系统域名:可登录FusionInsight Manager,选择“系统 > 权限 > 域和互信”,查看“本端域”参数,即为当前系统域名。 查看作业管理界面,作业状态为“运行中”。 参考管理Kafka Topic
kafka_skip_broken_messages:Kafka消息解析器对每个块的架构不兼容消息的容忍度,默认值:0。 例如:kafka_skip_broken_messages = N,则引擎会跳过N条无法解析的Kafka消息。 父主题: 使用ClickHouse
如何通过集群外的节点访问MRS集群? 创建集群外Linux操作系统ECS节点访问MRS集群 创建一个集群外ECS节点,具体请参考购买弹性云服务器。 ECS节点的“可用区”、“虚拟私有云”、“安全组”,需要和待访问集群的配置相同。 在VPC管理控制台,申请一个弹性IP地址,并与ECS绑定。
authenticated client: authenticationID=hdfs/hadoop@<系统域名>; authorizationID=hdfs/hadoop@<系统域名>. | org.apache.zookeeper.server.auth.SaslServerCallbackHandler
整数类型分区使用补齐前缀0的方式,会导致Impala解析分区不准确,影响元数据刷新。 列名、别名无特殊情况使用英文,不使用中文 除注释外,由于中文编码存在特殊字符,使用中文会导致impala解析时遇到不能识别的符号,从而出现解析失败或进入死循环。 包含case when子句的vi
Socket Reader #1 for port xxx | Auth successful for mapred/hadoop.<系统域名>@<系统域名> (auth:KERBEROS) | Server.java:1388 2021-07-21 16:35:27,105 | INFO
Socket Reader #1 for port 8032 | Auth successful for mapred/hadoop.<系统域名>@<系统域名> (auth:KERBEROS) | Server.java:1388 2016-07-21 16:35:27,105 | INFO
配置Spark动态脱敏 Spark Distinct聚合优化 配置Spark作业失败时清理残留文件 配置Spark加载第三方jar包,用于注册UDF或者扩展SparkSQL 父主题: 使用Spark/Spark2x
配置Spark加载第三方jar包,用于注册UDF或者扩展SparkSQL 本章节仅适用于MRS 3.5.0-LTS及之后版本。 配置场景 用户可能经常会自定义UDF或者使用一些自定义jar扩展Spark能力,针对这种第三方jar需要在Spark启动前指定好第三方类加载路径。 前提条件
service.name" -> "kafka", "kerberos.domain.name" -> "hadoop.<系统域名>" ); val locationStrategy = LocationStrategies.PreferConsistent
Socket Reader #1 for port 8032 | Auth successful for mapred/hadoop.<系统域名>@<系统域名> (auth:KERBEROS) | Server.java:1388 2016-07-21 16:35:27,105 | INFO