检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
并分别单击MRS集群的节点名称,在节点的“弹性公网IP”页面绑定弹性公网IP。 具体操作请参见“虚拟私有云 > 用户指南 > 弹性公网IP > 为弹性云服务器申请和绑定弹性公网IP”。 记录公网IP和私网IP的对应关系将hosts文件中的私网IP改为对应的公网IP。 图1 配置hosts文件
主备集群上的时间必须一致,而且主备集群上的NTP服务必须使用同一个时间源。 必须在主备集群的所有节点的hosts文件中,配置主备集群所有机器的机器名与业务IP地址的对应关系。 若主集群的客户端安装在集群外的节点上,也需在该节点的hosts文件中配置主备集群所有机器的机器名与业务IP地址的对应关系。
数据迁移到MRS前信息收集 由于离线大数据搬迁有一定的灵活性,迁移前需要掌握现有集群的详细信息,以能够更好的进行迁移决策。 业务信息调研 大数据平台及业务的架构图。 大数据平台和业务的数据流图(包括峰值和均值流量等)。 识别平台数据接入源、大数据平台数据流入方式(实时数据上报、批量数据抽取)、分析平台数据流向。
用户基于大数据平台构建的应用系统等。 技术支持范围 支持的服务 MRS云服务管理控制台提供的相关功能: 集群的创建、删除、扩容、缩容 集群作业管理 集群告警管理 集群补丁管理 IAM用户委托管理 对外API接口管理 MRS服务提供的开源大数据组件,其中开源组件请参考对应MRS版本组件列表。
EST API操作HBase集群可跳过此步骤)。 在windows上配置集群的ip与主机名映射关系。登录集群后台,执行命令cat /etc/hosts后,把hosts文件中的ip与hostname映射关系拷贝到“C:\Windows\System32\drivers\etc\ho
并分别单击MRS集群的节点名称,在节点的“弹性公网IP”页面绑定弹性公网IP。 具体操作请参见“虚拟私有云 > 用户指南 > 弹性公网IP > 为弹性云服务器申请和绑定弹性公网IP”。 记录公网IP和私网IP的对应关系将hosts文件中的私网IP改为对应的公网IP。 图1 配置hosts文件
并分别单击MRS集群的节点名称,在节点的“弹性公网IP”页面绑定弹性公网IP。 具体操作请参见“虚拟私有云 > 用户指南 > 弹性公网IP > 为弹性云服务器申请和绑定弹性公网IP”。 记录公网IP和私网IP的对应关系将hosts文件中的私网IP改为对应的公网IP。 图1 配置hosts文件
WITH WITH子句定义查询子句的命名关系,可以展平嵌套查询或简化子查询语句。 例如下面的查询语句是等价的: SELECT name, maxprice FROM (SELECT name, MAX(price) AS maxprice FROM fruit GROUP BY name)
配置互信MRS集群的用户权限 配置完跨Manager集群互信后,需要在互信的系统上设置访问用户的权限,这样指定的用户才能在互信系统上进行对应的业务操作。 前提条件 已完成跨集群互信配置,然后刷新两个集群的客户端。 配置互信集群的用户权限(MRS 3.x及之后版本) 登录本端系统的FusionInsight
配置EIP。如果本地Windows与集群之间网络不通,需要为每个HBase节点以及ZooKeeper节点配置EIP,并且在本地Windows的hosts文件添加所有节点的公网IP对应主机域名的映射关系,例如: 如果使用的是Windows云服务器,并且与集群的网络是通的,则无需配置EIP。 登录FusionInsight
申请一台windows的ECS访问MRS集群操作Hive,此种方式是通过连接zookeeper动态获取HiveServer的地址然后来操作Hive,具有高可用性。 使用本机访问MRS集群操作Hive,由于本机与MRS集群的网络不通,只能通过直连HiveServer的方式操作Hive。
工具。对于关系数据库,使用JDBC API通过JDBC驱动程序与数据库交互。对于其他数据库(NoSQL),使用专有数据库驱动程序。 本章节以DBeaver 7.2.0版本为例,讲解如何使用DBeaver访问MRS HetuEngine。 方案架构 出于管理和信息收集的需要,企业内
当一张表在另一张表找到匹配的记录之后,半连接(semi-join)返回第一张表中的记录。与条件连接相反,即使在右节点中找到几条匹配的记录,左节点的表也只会返回一条记录。另外,右节点的表一条记录也不会返回。半连接通常使用IN或EXISTS作为连接条件。 而anti-join则与semi-joi
供用户绑定用户组和角色的功能。 具体请参见管理MRS集群用户。 租户管理:提供租户的增、删、改、查基本功能以及租户与组件资源的绑定关系。MRS集群为了便于管理,为每个租户都会默认产生一个角色。如果定义租户拥有某些资源的权限,则租户对应的角色就拥有这些资源的权限。 具体请参见管理MRS集群租户。
9.3.1补丁安装后,需要重新下载安装全量的客户端,包含Master节点的原始客户端和虚拟私有云的其他节点使用的客户端(即您自行搭建的客户端)。 主备Master节点的原始客户端全量更新,请参见更新客户端配置(2.x及之前版本)。 自行搭建的客户端全量安装方法,请参见安装客户端(2
查找Manager用户 功能简介 通过访问Manager接口完成查找用户。 代码样例 以下代码片段是查找用户的示例,在“rest”包的“UserManager”类的main方法中。 //访问Manager接口完成查找用户列表 operationName =
同分布(Colocation)功能是将存在关联关系的数据或可能要进行关联操作的数据存储在相同的存储节点上。HDFS文件同分布的特性是,将那些需进行关联操作的文件存放在相同的数据节点上,在进行关联操作计算时,避免了到别的数据节点上获取数据的动作,大大降低了网络带宽的占用。 Client HDFS Client主要包括五种方式:JAVA
9.0.5补丁安装后,需要重新下载安装全量的客户端,包含Master节点的原始客户端和虚拟私有云的其他节点使用的客户端(即您自行搭建的客户端)。 主备Master节点的原始客户端全量更新,请参见更新客户端配置(2.x及之前版本)。 自行搭建的客户端全量安装方法,请参见安装客户端(2
将“MYSQL”的键值修改为上传的jdbc驱动包名“mysql-connector-java-5.1.21.jar”,例如:MYSQL=mysql-connector-java-5.1.21.jar。 重启Loader服务。 MRS 3.x及之后版本: 修改关系型数据库对应的驱动jar包文件权限。
9.3.3补丁安装后,需要重新下载安装全量的客户端,包含Master节点的原始客户端和虚拟私有云的其他节点使用的客户端(即您自行搭建的客户端)。 主备Master节点的原始客户端全量更新,请参见更新客户端配置(2.x及之前版本)。 自行搭建的客户端全量安装方法,请参见安装客户端(2