检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
更新客户端(3.x之前版本) 本章节适用于MRS 3.x之前版本的集群。MRS 3.x及之后版本,请参考更新客户端(3.x及之后版本)。 更新客户端配置文件 操作场景 MRS集群提供了客户端,可以在连接服务端、查看任务结果或管理数据的场景中使用。用户使用MRS的客户端时,如果在MRS
3及之后版本 HSBroker 是 否 否 确保业务侧和HetuServer服务端HSBroker、Coordinator(随机分布在Yarn NodeManger)所在业务节点网络互通 需对外开放Coordinator的IP,端口 支持范围:MRS 3.1.0及之后版本 父主题:
MetaStore的场景中,Doris 2.0.13版本支持通过Catalog的方式对接Hudi 0.15.0版本数据源,支持对接Hudi所有的数据字段类型。 该操作适用于MRS 3.5.0版本。 Doris支持查询的Hudi表类型 Doris支持的Hudi表类型和对应的查询类型如下: COW表:支持Snapshot
认为String类型的列做字典编码,但是如果字典值过多,会导致字典转换操作增加造成性能下降。 一般情况下,列的数值复杂度高于5万,可以被认定为高复杂度,则需要排除掉字典编码,该参数为可选参数。 说明: 在非字典列中,只支持String和Timestamp数据类型。 DICTIONARY_INCLUDE
用户自建大数据集群面临成本高、周期长、运维难和不灵活等问题。针对这些问题,MRS支持一键式创建、删除、扩容和缩容集群的能力,用户可以自定义集群的类型,组件范围,各类型的节点数、虚拟机规格、可用区、VPC网络、认证信息,MRS将为用户自动创建一个符合配置的集群,全程无需用户参与。同时支持用户快速创建多应用场
的HDFS文件浏览器报错Read timed out,如何解决。 回答 检查HDFS服务中是否安装Httpfs实例。 否,请联系运维人员处理。 是,重启HttpFS实例解决。 父主题: Hue常见问题
若集群中存在主机被隔离的情况,集群补丁安装完成后,请参见本节操作对隔离主机进行补丁修复。修复完成后,被隔离的主机节点版本将与其他未被隔离的主机节点一致。 MRS 3.x版本不支持在管理控制台执行本章节操作,本章节仅适用于3.x之前的版本。 访问MRS Manager,详细操作请参见访问MRS集群Manager。 选择“系统设置
需要准备一个用于备份数据的备集群,且网络连通。每个集群的安全组,需分别添加对端集群的安全组入方向规则,允许安全组中所有弹性云服务器全部协议全部端口的访问请求。 根据业务需要,规划备份的类型、周期和策略等规格,并检查主备管理节点“数据存放路径/LocalBackup/”是否有充足的空间。 备份Manager数据
可能原因 实例进程异常。 磁盘空间不足。 处理步骤 检查实例进程是否异常。 打开MRS集群详情页面,在告警管理页签的告警列表中,单击此告警所在行,在告警详情中,查看该告警的主机名称与服务名称。 在“告警管理”页面,查看是否有ALM-12006 节点故障(2.x及以前版本)产生。 是,执行1
记录集群的“可用区”、“虚拟私有云”、“集群管理页面”、“安全组”。 在管理控制台首页服务列表中选择“弹性云服务器”,进入ECS管理控制台,创建一个新的弹性云服务器。 弹性云服务器的“可用区”、“虚拟私有云”、“安全组”,需要和待访问集群的配置相同。 选择一个Windows系统的公共
使用Hue(MRS 3.x之前版本) 访问Hue WebUI界面 使用Hue WebUI操作Hive表 在Hue WebUI使用HiveQL编辑器 在Hue WebUI使用元数据浏览器 在Hue WebUI使用文件浏览器 在Hue WebUI使用作业浏览器 Hue常用配置参数
clickhouse client --host ClickHouse实例IP --user default --password 输入用户密码 ClickHouse实例IP获取方式:在集群详情页面,选择“组件管理 > ClickHouse > 实例”,获取ClickHouse的IP地址。 父主题:
2.2补丁,不需要做此操作。 主备Master节点的原始客户端全量更新,请参见更新客户端配置(2.x及之前版本)。 自行搭建的客户端全量安装方法,请参见安装客户端(3.x之前版本)。 重新安装客户端前建议先对老客户端进行备份。 若用户根据业务场景修改过客户端配置,请在重装客户端后再次修改客户端配置。
该节点ZooKeeper实例内存使用量过大,或分配的内存不合理,导致使用量超过阈值。 处理步骤 检查内存使用量。 在MRS集群详情页面,单击“告警管理 > 13002连接数不足 > 定位信息”。查看告警上报的实例的ip。 在MRS集群详情页面,单击“组件管理 > ZooKeeper > 实例 >
表中的列名称。列名称包含字母,数字和下划线(_)。 changed_column_type 所要更改为的新数据类型。 注意事项 仅在没有数据丢失的情况下支持将Decimal数据类型从较低精度更改为较高精度 例如: 无效场景:将Decimal数据精度从(10,2)更改为(10,5)无效,
连接到服务器失败,请检查网络连接或参数设置。 图1 下载客户端 选择“Flume”服务,单击“实例”,查看任意一个Flume实例和两个MonitorServer实例的“业务IP”。 使用VNC方式,登录弹性云服务器。参见远程登录(VNC方式)。 所有镜像均支持Cloud-init特性。Clou
检查JournalNode实例状态。 在MRS Manager首页,单击“组件管理”。 单击“HDFS”。 单击“实例”。 在页面中,查看JournalNode的“健康状态”是否为“良好”。 是,执行2.a。 否,执行1.e。 选择故障的JournalNode,单击“更多 > 重启实例”。查看JournalNode能否成功启动。
分批次停止Core节点上的JobServer实例。 在“实例”页面勾选Core节点所在的JobServer实例,选择“更多 > 停止实例”,停止Core节点上的JobServer实例。 停止实例时部分作业可能会提交失败,建议在业务低峰期执行。 分批次删除Core节点上的JobServer实例。 在“实例”页面勾选
使用CarbonData(MRS 3.x之前版本) 从零开始使用CarbonData CarbonData表简介 创建CarbonData表 删除CarbonData表
以下为Bad Records的四种操作类型: FORCE:通过将Bad Records存储为NULL来自动校正数据。 REDIRECT:无法加载Bad Records,并将其写入BAD_RECORD_PATH下的CSV文件中,默认不开启该类型,如需使用该类型,需要设置参数carbon.enable