检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
用户都可以查询Topic信息;对于修改Topic Configs、增加Topic分区个数、删除Topic场景,需保证KafkaUI登录用户属于“kafkaadmin”用户组或者单独给用户授予对应操作权限,否则将会鉴权失败。 非安全模式下,KafkaUI对所有操作不作鉴权处理。 查看生产消费详情
Nimbus配置信息 前提条件 获取用户“admin”账号密码。“admin”密码在创建集群时由用户指定。 使用其他用户访问Storm WebUI,需要用户属于“storm”或“stormadmin”用户组。 操作步骤 进入组件管理页面: MRS 3.x之前版本,单击集群名称,登录集群详情页面,选择“组件管理”。
用户都可以查询Topic信息;对于修改Topic Configs、增加Topic分区个数、删除Topic场景,需保证KafkaUI登录用户属于“kafkaadmin”用户组或者单独给用户授予对应操作权限,否则将会鉴权失败。 非安全模式下,KafkaUI对所有操作不作鉴权处理。 本章节内容仅适用于MRS
升级不会停止业务,保障用户集群长期可用。 MRS服务可以展示详细的补丁安装过程,支持补丁的卸载和失败回滚。 运维支撑 MRS集群的资源完全属于用户,通常情况下,当集群出现问题需要运维人员支撑时,运维人员无法直接访问该集群。为了更好的服务客户,MRS提供两种方式来减少定位问题时的信息传递:
Computation):支持迭代计算,有效应对多步的数据处理逻辑。 数据挖掘(Data Mining):在海量数据基础上进行复杂的挖掘分析,可支持各种数据挖掘和机器学习算法。 流式处理(Streaming Processing):支持秒级延迟的流式处理,可支持多种外部数据源。 查询分析(Query Ana
Computation):支持迭代计算,有效应对多步的数据处理逻辑。 数据挖掘(Data Mining):在海量数据基础上进行复杂的挖掘分析,可支持各种数据挖掘和机器学习算法。 流式处理(Streaming Processing):支持秒级延迟的流式处理,可支持多种外部数据源。 查询分析(Query Ana
果所有的消费者实例都属于同样的消费组,它们就以传统队列负载均衡方式工作。如上图中,Consumer1与Consumer2之间为负载均衡方式;Consumer3、Consumer4、Consumer5与Consumer6之间为负载均衡方式。如果消费者实例都属于不同的消费组,则消息会
xml的开发参见配置Oozie业务运行流程)与jar包上传到HDFS,并确保进行过安全认证的用户有权限访问HDFS上对应的目录(目录的属主是该用户,或与该用户属于同一个用户组)。 父主题: 通过Java API提交Oozie作业
xml的开发参见workflow.xml)与jar包上传到HDFS,并确保进行过安全认证的用户有权限访问HDFS上对应的目录(目录的属主是该用户,或与该用户属于同一个用户组)。 父主题: 通过Java API提交Oozie作业
对时序数据特征,进行强有力的数据编码和压缩能力,同时其自身的副本机制也保证了数据的安全,并与Apache Hadoop和Flink等进行了深度集成,可以满足工业物联网领域的海量数据存储、高速数据读取和复杂数据分析需求。 IoTDB结构 IoTDB套件由若干个组件构成,共同形成数据
HDFS数据的第一次访问响应时长,可以重启HBase或者对相关的表执行Disable/Enable操作来避免。 Task节点本身不存储集群数据,属于计算节点,不存在节点数据迁移的问题。 父主题: 集群管理
当源集群与目标集群部署在同一区域的不同VPC时,请创建两个VPC之间的网络连接,打通网络层面的数据传输通道。请参见VPC对等连接。 当源集群与目标集群部署在同一VPC但属于不同安全组时,在VPC管理控制台,为每个安全组分别添加安全组规则。规则的“协议”为“ANY”,“方向”为“入方向”,“源地址”为“安全组”且是对端集群的安全组。
已安装Spark客户端,详细操作请参见安装客户端(3.x及之后版本)。 已在Manager界面添加人机用户,例如:iceberguser,且该用户属于hadoop和hive用户组,主组为hadoop。 操作步骤 使用root登录客户端安装节点,执行如下命令: cd 客户端安装目录 执行以下命令环境变量并认证用户:
eros认证的集群中使用。 storm Storm的普通用户组,属于该组的用户拥有提交拓扑和管理属于自己的拓扑的权限。仅在已启用Kerberos认证的集群中使用。 stormadmin Storm的管理员用户组,属于该组的用户拥有提交拓扑和管理所有拓扑的权限。仅在已启用Kerberos认证的集群中使用。
/var/log/Bigdata/kafka/broker命令进入日志目录。 查看kafka-authorizer.log发现如下日志提示用户不属于kafka或者kafkaadmin组。 2017-01-25 13:26:33,648 | INFO | [kafka-request-handler-0]
et包含若干数据行。各个Tablet之间的数据没有交集,并且在物理上是独立存储的。 多个Tablet在逻辑上归属于不同的分区(Partition)。一个Tablet只属于一个Partition,而一个Partition包含若干个Tablet。因为Tablet在物理上是独立存储的,
/var/log/Bigdata/kafka/broker命令进入日志目录。 查看kafka-authorizer.log发现如下日志提示用户不属于kafka或者kafkaadmin组。 2017-01-25 13:26:33,648 | INFO | [kafka-request-handler-0]
命令修改11表列族的BLOCKCACHE参数值为“true”: cd 客户端安装目录 source bigdata_env kinit 归属于supergroup用户组或具备Global的Admin权限的用户(集群未启用Kerberos认证(普通模式)请跳过该操作) hbase shell
并校验成功后,本次请求合法通过。 安全认证基本概念 本文以HDFS组件应用的安全认证为例介绍安全认证相关的常见基本概念,可以帮助用户减少学习Kerberos框架所花费的时间,有助于更好的理解Kerberos业务。 TGT 票据授权票据(Ticket-Granting Ticke
Computation):支持迭代计算,有效应对多步的数据处理逻辑。 数据挖掘(Data Mining):在海量数据基础上进行复杂的挖掘分析,可支持各种数据挖掘和机器学习算法。 流式处理(Streaming Processing):支持秒级延迟的流式处理,可支持多种外部数据源。 查询分析(Query Ana