检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
是 NodeManager Zookeeper Quorumpeer 是 安装滚动补丁 登录MRS管理控制台。 选择“现有集群”,选中一集群并单击集群名,进入集群基本信息页面。 进入“补丁管理”页面,在操作列表中单击“安装”。 进入“警告”页面,选择是否开启“滚动补丁”。 图1 滚动安装补丁
amily/replication/#creating-replicated-tables。 例如,在default_cluster_1集群节点上和default数据库下创建表名为test的ReplicatedMergeTree表: CREATE TABLE default.test
安装补丁 安装补丁 登录MRS管理控制台。 选择“现有集群”,选中一集群并单击集群名,进入集群基本信息页面。 进入“补丁管理”页面,在操作列表中单击“安装”。 进入“警告”页面,阅读补丁说明,并单击“确定”。 图1 安装补丁 如果任务失败,选择“重试安装”,只有当“状态”显示为“已安装”时,才能进入下一步操作。
安装补丁 安装补丁 登录MRS管理控制台。 选择“现有集群”,选中一集群并单击集群名,进入集群基本信息页面。 进入“补丁管理”页面,在操作列表中单击“安装”。 进入“警告”页面,阅读补丁说明,并单击“确定”。 图1 安装补丁 如果任务失败,选择“重试安装”,只有当“状态”显示为“已安装”时,才能进入下一步操作。
Manager”,打开“访问MRS Manager页面”。 若用户创建集群时已经绑定弹性公网IP,如图1所示: 选择待添加的安全组规则所在安全组,该安全组在创建群时配置。 添加安全组规则,默认填充的是用户访问公网IP地址9022端口的规则,如需开放多个IP段为可信范围用于访问MRS Manager页面
如下两种权限管控方式,默认使用Ranger权限模型;在集群未启用Kerberos认证(普通模式)时提供了Ranger权限模型,默认未开启Ranger权限模型: Ranger权限管控方式,可参考HetuEngine基于Ranger权限管控。 Metastore权限管控方式,可参考H
从FTP服务器导入数据到HDFS/OBS 从FTP服务器导入数据到HBase 从FTP服务器导入数据到Phoenix表 从FTP服务器导入数据到Hive表 从同一集群内HDFS/OBS导入数据到HBase MRS与外部数据源交换数据和文件时需要连接数据源。系统提供以下连接器,用于配置不同类型数据源的连接参数:
ALM-14037 存在集群外的DataNode 告警解释 NameNode每8个小时周期性检查集群中是否存在脱离管控的DataNode。如果存在则触发该告警。如果无脱离管控的DataNode则告警清除。 该告警仅适用于MRS 3.3.1及之后版本。 告警属性 告警ID 告警级别 是否可自动清除
Kafka后进先出功能的开启要求应用只能对接Kafka输入源。 若提交应用的同时开启Kafka后进先出和流控功能,对于B段时间进入Kafka的数据,将不启动流控功能,以确保读取这些数据的任务调度优先级最低。应用重新启动后C段时间的任务启用流控功能。 配置描述 在Spark Driver端的“spark-defaults
Kafka后进先出功能的开启要求应用只能对接Kafka输入源。 如果提交应用的同时开启Kafka后进先出和流控功能,对于B段时间进入Kafka的数据,将不启动流控功能,以确保读取这些数据的任务调度优先级最低。应用重新启动后C段时间的任务启用流控功能。 配置描述 在Spark Driver端的“spark-defaults
MapReduce基本原理 如需使用MapReduce,请确保MRS集群内已安装Hadoop服务。 MapReduce是Hadoop的核心,是Google提出的一个软件架构,用于大规模数据集(大于1TB)的并行运算。概念“Map(映射)”和“Reduce(化简)”及其主要思想,均取自于函数式编程语言及矢量编程语言。
MRS服务在集群的Master1和Master2节点上部署了manager-executor进程,该进程主要用于将管控面对集群的操作进行封装,比如作业的提交、心跳上报、部分告警信息上报、集群创扩缩等操作。当客户从MRS管控面提交作业,随着任务量的增大或者任务并发较高,有可能会导致Executor内存不足,导致
则,当“auto.purge”设置为“true”时,数据行将被直接删除。 限制 目标表必须是管控表(表属性external=false),否则执行语句将报错。 示例 -- 删除原生/管控表 Create table simple(id int, name string); Insert
vice为LOCATION后才能访问表数据。 访问对端集群的HBase: 先将cluster2集群的所有Zookeeper节点和HBase节点的IP和主机名配置到cluster1集群的客户端节点的/etc/hosts文件中。 使用cluster2中的Spark2x客户端下“conf”目录的hbase-site
vice为LOCATION后才能访问表数据。 访问对端集群的HBase: 先将cluster2集群的所有Zookeeper节点和HBase节点的IP和主机名配置到cluster1集群的客户端节点的/etc/hosts文件中。 使用cluster2中的Spark2x客户端下“conf”目录的hbase-site
安装补丁 安装补丁 登录MRS管理控制台。 选择“现有集群”,选中一集群并单击集群名,进入集群基本信息页面。 进入“补丁管理”页面,在操作列表中单击“安装”。 进入“警告”页面,阅读补丁说明,并单击“确定”。 图1 安装补丁 请确保集群允许root登录,并且所有节点的root密码一致。
委托名称:填写委托名称,例如:agency-MRS-to-OBS。 委托类型:选择“普通账号”。 委托的账号:填写本用户的云账号,即使用手机号开通的账号,不能是联邦用户或者IAM用户。 持续时间:选择“永久”。 在弹出授权页面的搜索框内,搜索3新建的自定义策略,并勾选该策略,例如“doris-policy”。
创建Ranger集群 参考购买自定义集群创建集群,组件选择时勾选Ranger组件。 目前MRS 1.9.2集群仅普通模式集群支持Ranger组件,开启Kerberos认证的安全集群不支持Ranger组件。 图1 选择Ranger组件 选择是否开启“使用外部数据源存储元数据”功能。
添加MRS集群节点标签 标签是集群/节点的标识。为集群/节点添加标签,可以方便用户识别和管理拥有的集群/节点资源。 集群标签:可以在创建集群时添加标签,也可以在集群创建完成后,在集群的详情页添加标签,您最多可以给集群添加20个标签。更新集群标签会将标签同步到该集群下的所有节点上。
Impala应用开发规则 创建集群时只需指定一个Catalog和一个StoreStore 如果已经创建了两个Catalog和StateStore,Impalad角色需要指定--catalog_service_host和--state_store_host,Catalog角色需要指