检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Computation):支持迭代计算,有效应对多步的数据处理逻辑。 数据挖掘(Data Mining):在海量数据基础上进行复杂的挖掘分析,可支持各种数据挖掘和机器学习算法。 流式处理(Streaming Processing):支持秒级延迟的流式处理,可支持多种外部数据源。 查询分析(Query Ana
应用服务端收到请求后,使用本端应用服务对应的密钥解析其中的ST,并校验成功后,本次请求合法通过。 基本概念 以下为常见的基本概念,可以帮助用户减少学习Kerberos框架所花费的时间,有助于更好的理解Kerberos业务。以HDFS安全认证为例: TGT 票据授权票据(Ticket-Granting
MRS对接LakeFormation约束说明 MRS对接LakeFormation前,需要注意以下约束限制: MRS集群和LakeFormation实例必须同在一个云账户下且属于同一个Region。 LakeFormation侧创建的接入客户端所在虚拟私有云,必须与MRS集群在同一虚拟私有云下。 MRS集群仅支持对
开通自动续费后,还可以手动续费该MRS集群。手动续费后,自动续费仍然有效,在新的到期时间前的第7天开始扣款。 自动续费的到期前7日自动扣款属于系统默认配置,您也可以根据需要修改此扣款日,如到期前6日、到期前5日等。 本章节主要介绍如何开通包年/包月MRS集群的自动续费功能,更多自动续费相关操作请参见自动续费。
a。 否,说明该磁盘为非系统盘,执行2.d。 执行df -h命令,查看系统磁盘分区的使用信息。并通过2.a中获取到的磁盘分区名称,判断该磁盘属于哪一个角色。 磁盘所属服务是否为HDFS或Yarn其中之一。 是,请为Core节点扩容磁盘。然后执行2.f。 否,执行4。 等待2分钟,查看告警是否消失。
et包含若干数据行。各个Tablet之间的数据没有交集,并且在物理上是独立存储的。 多个Tablet在逻辑上归属于不同的分区(Partition)。一个Tablet只属于一个Partition,而一个Partition包含若干个Tablet。因为Tablet在物理上是独立存储的,
et包含若干数据行。各个Tablet之间的数据没有交集,并且在物理上是独立存储的。 多个Tablet在逻辑上归属于不同的分区(Partition)。一个Tablet只属于一个Partition,而一个Partition包含若干个Tablet。因为Tablet在物理上是独立存储的,
ip access control rule”,便于用户识别。 图1 添加MRS集群安全组规则 自动获取的访问公网IP与用户本机IP不一致,属于正常现象,无需处理。 9022端口为MRS集群knox的端口,因此需要开启访问该端口的权限能访问Manager。 勾选确认信息后,单击“确定”,进入Manager登录页面。
登录Manager创建一个拥有“Hive Admin Privilege”权限的角色,例如prestorole,创建角色请参考管理MRS集群角色。 创建一个属于“Presto”和“Hive”组的用户,同时为该用户绑定1中创建的角色,例如presto001,创建用户请参考创建MRS集群用户。 认证当前用户。
根据输出16进制TID,在线程堆栈中进行查找,发现在执行compaction操作。 对其它线程执行相同操作,发现均为compactions线程。 解决办法 属于正常现象。 发现消耗CPU较高线程均为HBase的compaction,其中部分线程调用Snappy压缩处理,部分线程调用HDFS读写数据
Query Language—持续查询语言)。CQL具有以下几个特点: 使用简单:CQL语法和标准SQL语法类似,只要具备SQL基础,通过简单地学习,即可快速地进行业务开发。 功能丰富:CQL除了包含标准SQL的各类基本表达式等功能之外,还特别针对流处理场景增加了窗口、过滤、并发度设置等功能。
应用长期运行时形成单个过大日志造成JobHistory无法读取的问题,设置为“0”时表示不分组。 大部分Spark Streaming任务属于小型job,而且产生速度较快,会导致频繁的分组,产生大量日志小文件消耗磁盘I/O。建议增大此值,例如改为“1000”或更大值。 父主题: 使用Spark2x(MRS
MapReduce任务运行过程中在“/mr-history”、“/tmp/hadoop-yarn”、“/tmp/logs”这三个目录中生成的文件不属于有用文件。 是,执行7。 否,执行8。 用户确认丢失块所在的文件是否已备份。 是,执行8。 否,执行11。 以root用户登录HDFS客户
found”参数为“true”,重启Kafka服务。 删除Topic设置的ACL。 例如: kinit test_user 需要使用Kafka管理员用户(属于kafkaadmin组)操作。 例如: kafka-acls.sh --authorizer-properties zookeeper.connect=10
te.xml配置文件,此配置文件上设置“hadoop.security.authentication”为“kerberos”。 解决办法 属于用户使用不当。对于本业务应用来说,若要解决此问题,可以参考如下几种办法: 方法1: 直接参考Hive组件的“jdbc-examples”样例工程,将core-site
应用长期运行时形成单个过大日志造成JobHistory无法读取的问题,设置为“0”时表示不分组。 大部分Spark Streaming任务属于小型job,而且产生速度较快,会导致频繁的分组,产生大量日志小文件消耗磁盘I/O。建议增大此值,例如改为“1000”或更大值。 父主题: 使用Spark/Spark2x
修改集群服务配置参数 MRS 3.x之前版本,用户可直接通过MRS管理控制台的集群管理页面修改各服务配置参数: 登录MRS控制台,在左侧导航栏选择“现有集群”,单击集群名称。 选择“组件管理 > 服务名称 > 服务配置”。 默认显示“基础配置”,如果需要修改更多参数,请选择“全部
数据转换的第一步,负责将数据转换成字段,每次转换有且只能有一种输入算子,涉及HBase或Hive导入导出时,必须填写。 转换算子 数据转换的中间转换步骤,属于可选类型,各个转换算子可任意搭配使用。转换算子是针对字段而言,必须先使用输入算子,将数据转换成字段。 输出算子 数据转换的最后一步,每次转
数据转换的第一步,负责将数据转换成字段,每次转换有且只能有一种输入算子,涉及HBase或Hive导入导出时,必须填写。 转换算子 数据转换的中间转换步骤,属于可选类型,各个转换算子可任意搭配使用。转换算子是针对字段而言,必须先使用输入算子,将数据转换成字段。 输出算子 数据转换的最后一步,每次转
名称。 根据实际情况判断消费者组是否为新创建。 是,执行3。 新创建的消费者组,新消费者会从头开始消费Topic中的消息,产生消息积压告警属于正常现象,待下游消费Topic中消息后,告警会自动消除。 否,执行4。 等待一段时间后,查看当前告警是否清除。 是,操作结束。 否,执行4。