检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如何通过集群外的节点访问MRS集群? 创建集群外Linux操作系统ECS节点访问MRS集群 创建一个集群外ECS节点,具体请参考购买弹性云服务器。 ECS节点的“可用区”、“虚拟私有云”、“安全组”,需要和待访问集群的配置相同。 在VPC管理控制台,申请一个弹性IP地址,并与ECS绑定。
创建MRS集群用户 05:19 创建MRS集群用户 组件知识培训 MapReduce服务 MRS ClickHouse集群购买及权限管理 20:26 ClickHouse集群购买及权限管理 MapReduce服务 MRS ClickHouse常见参数配置 42:46 ClickHouse常见参数配置
后对现有集群的业务没有影响,扩容后引起的数据倾斜问题可参考配置HDFS DataNode数据均衡页面内容进行规避。 包周期集群扩容 当用户购买了MRS包周期集群后,在订购的周期之内,用户的业务增长超过预期时,就会出现超出包周期订单规模外的扩容诉求。MRS服务支持包周期集群扩容能力
创建MRS HBase集群 购买一个包含有HBase组件的MRS集群,详情请参见购买自定义集群。 本文以购买的MRS 3.1.0版本的集群为例,组件包含Hadoop、HBase组件,集群开启Kerberos认证。 单击“立即购买”,等待MRS集群创建成功。 图1 集群购买成功 准备应用开发配置文件
弹性云服务器的“可用分区”、“虚拟私有云”、“安全组”,需要和待访问集群的配置相同。 选择一个Windows系统的公共镜像。 其他配置参数详细信息,请参见自定义购买弹性云服务器。 方法二:使用本机访问MRS集群操作Impala,在安装开发环境后并完成以下步骤后再运行样例代码。 为任意一个Core节点绑
步骤2:创建OBS委托并绑定至MRS集群 步骤3:创建Hive表并加载OBS中数据 步骤4:基于HQL对数据进行分析 步骤1:创建MRS离线查询集群 进入购买MRS集群页面。 选择“快速购买”,填写软件配置参数。 表3 软件配置(以下参数仅供参考,可根据实际情况调整) 参数名称 参数说明 取值样例 区域 选择区域。
弹性云服务器的“可用分区”、“虚拟私有云”、“安全组”,需要和待访问集群的配置相同。 选择一个Windows系统的公共镜像。 其他配置参数详细信息,请参见自定义购买弹性云服务器。 方法二:使用本机访问MRS集群操作Impala,在安装开发环境后并完成以下步骤后再运行样例代码。 为任意一个Core节点绑
String 参数解释: 计费模式。 约束限制: 不涉及 取值范围: prePaid:预付费,即包年/包月。(创建集群接口现已支持预付费,创建集群并提交作业接口暂不支持预付费。) postPaid:后付费,即按需计费。 默认取值: 不涉及 period_type 否 String 参数解释:
组”,需要和待访问集群的配置相同。 选择一个Windows系统的公共镜像。 其他配置参数详细信息,请参见“弹性云服务器 > 快速入门 > 购买并登录Windows弹性云服务器” 使用本机访问MRS集群操作OpenTSDB。为MRS集群中OpenTSDB服务所要访问的TSD实例绑定
组”,需要和待访问集群的配置相同。 选择一个Windows系统的公共镜像。 其他配置参数详细信息,请参见“弹性云服务器 > 快速入门 > 购买并登录Windows弹性云服务器”。 开启Kerberos认证集群需要在Windows上配置集群的ip与主机名映射关系。登录集群后台,执行命令cat
已获取待创建集群区域的项目ID,请参考获取项目ID获取。 已确定待创建集群的版本及版本支持的组件信息,请参见MRS组件版本一览表。 该示例创建出来的是按需购买的分析集群。 操作步骤 接口相关信息 URI格式:POST /v2/{project_id}/clusters 详情请参见创建集群。 请求示例
组”,需要和待访问集群的配置相同。 选择一个Windows系统的公共镜像。 其他配置参数详细信息,请参见“弹性云服务器 > 快速入门 > 购买并登录Windows弹性云服务器” 方法二:使用本机访问MRS集群操作Impala。在安装开发环境后并完成以下步骤后再运行样例代码。 为任
单击“Export”,导出后会生成本地的JSON格式的策略文件。 图3 导出Hive鉴权策略 创建并配置RDS实例 登录RDS管理控制台,购买RDS实例,具体操作请参考购买实例。 为了保证集群和MySQL或PostgreSQL数据库的网络访问,建议该实例与MRS集群的虚拟私有云和子网一致。 RD
据,且元数据不随集群的删除而删除,也能够避免集群迁移时Hive元数据的迁移。 创建并配置RDS实例 登录RDS管理控制台,购买RDS实例,具体操作请参考购买实例。 为了保证集群和MySQL或PostgreSQL数据库的网络访问,建议该实例与MRS集群的虚拟私有云和子网一致。 RD
消耗在极短时间内剧增。MRS提供的弹性伸缩能力,可以在突发大数据分析时,及时补充计算节点,避免因为计算能力不足,导致业务宕机。用户无需手动购买额外资源,当突发事件结束后,MRS会自动判断缩容时机,自动完成缩容。 聚焦核心业务 大数据作为二次开发平台,开发人员时常难以判断具体的资源
创建MRS ClickHouse集群 购买一个包含有ClickHouse组件的MRS集群,详情请参见购买自定义集群。 本文以购买的MRS 3.2.0-LTS.1版本的集群为例,组件包含ClickHouse组件,集群开启Kerberos认证。 单击“立即购买”,等待MRS集群创建成功。 准备应用程序认证用户
组”,需要和待访问集群的配置相同。 选择一个Windows系统的公共镜像。 其他配置参数详细信息,请参见“弹性云服务器 > 快速入门 > 购买并登录Windows弹性云服务器” 方法二:使用本机访问MRS集群操作Hive。在安装开发环境后并完成以下步骤后再运行样例代码。 为MRS
选择一个标准镜像“Windows Server 2012 R2 Standard 64bit(40GB)”。 其他配置参数详细信息,请参见购买弹性云服务器。 如果ECS的安全组和Master节点的“默认安全组”不同,用户可以选择以下任一种方法修改配置: 将ECS的安全组修改为Ma
本分配。 通过企业项目进行成本分配 在进行成本分配之前,建议开通企业项目并做好企业项目的规划,可以根据企业的组织架构或者业务项目来划分。在购买云资源时选择指定企业项目,新购云资源将按此企业项目进行成本分配。详细介绍请参见通过企业项目维度查看成本分配。 图1 为MRS集群选择企业项目
Manager的安全组规则 若用户创建集群时暂未绑定弹性公网IP,如图2所示: 在弹性公网IP下拉框中选择可用的弹性公网IP或单击“管理弹性公网IP”购买弹性公网IP。 选择待添加的安全组规则所在安全组,该安全组在创建群时配置。 添加安全组规则,默认填充的是用户访问公网IP地址9022端口的