检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
扩容ClickHouse节点磁盘 随着业务量的增长,ClickHouse节点数据盘的磁盘容量已不能满足业务需求,需要扩容数据盘磁盘容量。 如果购买MRS集群的计费模式为按需计费,扩容磁盘容量后MRS集群不支持转包周期。 前提条件 ClickHouse集群和实例状态正常。 已评估好要扩
分析结果。 步骤1:创建MRS集群 创建并购买一个包含有Kafka组件的MRS集群,详情请参见购买自定义集群。 本文以购买的MRS 3.1.0版本的集群为例,组件包含Hadoop、Kafka组件,集群未开启Kerberos认证。 集群购买成功后,在MRS集群的任一节点内,安装集群
步骤4:查看日志采集结果:查看日志采集结果。 步骤1:创建MRS集群 创建并购买一个包含有Flume、HDFS组件的MRS集群,详情请参见购买自定义集群。 本文以购买的MRS 3.1.0版本的集群为例,集群未开启Kerberos认证。 集群购买成功后,登录集群的FusionInsight Manager界面,下载集群客户端并解压。
操作。 创建MRS Hadoop集群 购买一个包含有Hadoop组件的MRS集群,详情请参见购买自定义集群。 本文以购买的MRS 3.2.0-LTS.1版本的集群为例,组件包含Hadoop组件,集群开启Kerberos认证。 单击“立即购买”,等待MRS集群创建成功。 准备应用开发配置文件
把相关的数据记录相加后重新写入HBase表。 创建MRS集群 购买一个MRS Spark集群,详情请参见购买自定义集群。 本文以购买的MRS 3.1.5版本的集群为例,组件包含Spark2x、Hive、HBase组件,集群开启了Kerberos认证。 集群购买成功后,在MRS集群的任一节点内,安装集群
IP。若用户创建集群时已经绑定弹性公网IP,直接执行3.b。 如果没有弹性公网IP,可先单击“管理弹性公网IP”购买弹性公网IP后,然后在弹性公网IP下拉框中选择购买的弹性公网IP。 如果在使用完后需要解绑或释放弹性公网IP,请登录“弹性公网IP”界面,在待操作的弹性公网IP后,单击“操作”列的“解绑”或“更多
步骤4:运行作业并查看结果:运行程序并查看数据分析结果。 步骤1:创建MRS集群 创建并购买一个包含有Spark2x、Kafka组件的MRS集群,详情请参见购买自定义集群。 本文以购买的MRS 3.1.0版本的集群为例,集群未开启Kerberos认证。 集群购买成功后,在MRS集群的任一节点内,安装集群客户端,具体操作可参考安装并使用集群客户端。
若未同步,可在集群Manager页面观察到存在未启动角色。 处理扩容后状态异常的Core节点 场景一:添加节点任务在安装组件前失败 如果MRS集群为按需购买集群: 登录MRS服务控制台。 选择“现有集群” ,单击集群名称进入集群详情页面。 单击页面上面的按钮,在“任务名”列,单击Core节点扩容任务。
动角色。 若未同步,可在集群Manager页面观察到存在未启动角色。 处理步骤 场景一:添加节点任务在安装组件前失败 如果MRS集群为按需购买集群: 登录MRS服务控制台。 选择 “现有集群” ,单击集群名称进入集群详情页面。 单击页面上面的按钮,在“任务名”列,单击Core节点扩容任务。
如何通过集群外的节点访问MRS集群? 创建集群外Linux操作系统ECS节点访问MRS集群 创建一个集群外ECS节点,具体请参考购买弹性云服务器。 ECS节点的“可用区”、“虚拟私有云”、“安全组”,需要和待访问集群的配置相同。 在VPC管理控制台,申请一个弹性IP地址,并与ECS绑定。
创建MRS集群用户 05:19 创建MRS集群用户 组件知识培训 MapReduce服务 MRS ClickHouse集群购买及权限管理 20:26 ClickHouse集群购买及权限管理 MapReduce服务 MRS ClickHouse常见参数配置 42:46 ClickHouse常见参数配置
后对现有集群的业务没有影响,扩容后引起的数据倾斜问题可参考配置HDFS DataNode数据均衡页面内容进行规避。 包周期集群扩容 当用户购买了MRS包周期集群后,在订购的周期之内,用户的业务增长超过预期时,就会出现超出包周期订单规模外的扩容诉求。MRS服务支持包周期集群扩容能力
DataStream程序处理数据。 创建MRS Flink集群 购买一个包含有Hive组件的MRS集群,详情请参见购买自定义集群。 本文以购买的MRS 3.2.0-LTS.1版本的集群为例,组件包含Hadoop、Flink组件,集群开启Kerberos认证。 单击“立即购买”,等待MRS集群创建成功。 准备集群配置文件
创建MRS HBase集群 购买一个包含有HBase组件的MRS集群,详情请参见购买自定义集群。 本文以购买的MRS 3.1.0版本的集群为例,组件包含Hadoop、HBase组件,集群开启Kerberos认证。 单击“立即购买”,等待MRS集群创建成功。 图1 集群购买成功 准备应用开发配置文件
Desktop 2022.2版本。 适用于LTS版的MRS 3.1.2及以后版本集群。 步骤一:创建MRS集群和计算实例 创建MRS集群。 创建并购买一个包含HetuEngine组件的MRS集群,详情可参考创建MRS集群。 创建hetu_user用户。 在集群中创建“人机”用户,如het
步骤2:创建OBS委托并绑定至MRS集群 步骤3:创建Hive表并加载OBS中数据 步骤4:基于HQL对数据进行分析 步骤1:创建MRS离线查询集群 进入购买MRS集群页面。 选择“快速购买”,填写软件配置参数。 表3 软件配置(以下参数仅供参考,可根据实际情况调整) 参数名称 参数说明 取值样例 区域 选择区域。
组规则等。 不负责对用户在MRS集群环境上自建安装的非MRS提供的第三方组件的问题排查和解决。 智能数据专家服务 如需获得更多支持,可咨询购买对应的智能数据专家服务:https://www.huaweicloud.com/service/intelligencedata.html。
弹性云服务器的“可用分区”、“虚拟私有云”、“安全组”,需要和待访问集群的配置相同。 选择一个Windows系统的公共镜像。 其他配置参数详细信息,请参见自定义购买弹性云服务器。 方法二:使用本机访问MRS集群操作Impala,在安装开发环境后并完成以下步骤后再运行样例代码。 为任意一个Core节点绑
弹性云服务器的“可用分区”、“虚拟私有云”、“安全组”,需要和待访问集群的配置相同。 选择一个Windows系统的公共镜像。 其他配置参数详细信息,请参见自定义购买弹性云服务器。 方法二:使用本机访问MRS集群操作Impala,在安装开发环境后并完成以下步骤后再运行样例代码。 为任意一个Core节点绑
组”,需要和待访问集群的配置相同。 选择一个Windows系统的公共镜像。 其他配置参数详细信息,请参见“弹性云服务器 > 快速入门 > 购买并登录Windows弹性云服务器”。 开启Kerberos认证集群需要在Windows上配置集群的ip与主机名映射关系。登录集群后台,执行命令cat