检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用Flume服务端从本地采集静态日志保存到HDFS 该任务指导用户使用Flume服务端从本地采集静态日志保存到HDFS上“/flume/test”目录下。 本配置默认集群网络环境是安全的，数据传输过程不需要启用SSL认证。如需使用加密方式，请参考配置Flume加密传输数据采集任务。该配置为只用一个Flume场景，例如：Spooldir
配置在Spark对接MemArtsCC 操作场景 本章节介绍在存算分离场景下如何配置Spark任务中集成MemArtsCC缓存，MemArtsCC会在将热点数据存储在计算侧集群，可以起到降低OBS服务端带宽的作用，利用MemArtsCC的本地存储，访问热点数据不必跨网络，可以提升Spark的数据读取效率。 前提条件
部署为安全模式，且主备集群不是由同一个FusionInsight Manager管理，则必须配置系统互信，请参见配置MRS集群间互信。如果主备集群部署为普通模式，则不需要配置互信。 主备集群上的时间必须一致，而且主备集群上的NTP服务必须使用同一个时间源。 规划好恢复数据保存表的
拓扑是一个计算流图。其中每个节点包含处理逻辑，而节点间的连线则表明了节点间的数据是如何流动的。 Spout 在一个Topology中产生源数据流的组件。通常情况下Spout会从外部数据源中读取数据，然后转换为Topology内部的源数据。 Bolt 在一个Topology中接受数据然后执行处理的组件。Bolt可以执行
partition by age order by id; 创建MATERIALIZED VIEW，该视图会在后台转换Kafka引擎中的数据并将其放入创建的ClickHouse表中。 create materialized view consumer3 on cluster default_cluster
拓扑是一个计算流图。其中每个节点包含处理逻辑，而节点间的连线则表明了节点间的数据是如何流动的。 Spout 在一个Topology中产生源数据流的组件。通常情况下Spout会从外部数据源中读取数据，然后转换为Topology内部的源数据。 Bolt 在一个Topology中接受数据然后执行处理的组件。Bolt可以执行
弹性云服务器的CPU架构需和MRS集群节点保持一致。 弹性云服务器客户端安装目录需要分配足够的磁盘空间，至少40GB。 弹性云服务器需要与MRS集群在同一个VPC网络及安全组中。 MRS集群安全组入方向将所有端口对客户端节点放开，具体操作请参考添加安全组规则。 弹性云服务器操作系统已安装NTP服务，且NTP服务运行正常。
MRS使用HDFS的副本机制来保证数据的可靠性，HDFS中每保存一个文件则自动生成1个备份文件，即共2个副本。HDFS副本数可通过“dfs.replication”参数查询。 当MRS集群中Core节点规格选择为非本地盘（hdd）时，若集群中只有一个Core节点，则HDFS默认副本数为1。若集群中Core节点数大于等于2，则HDFS默认副本数为2。
MRS支持在大数据存储容量大、计算资源需要弹性扩展的场景下，用户将数据存储在OBS服务中，使用MRS集群仅做数据计算处理的存算分离模式。 本文将向您介绍如何在MRS集群中运行Flink作业来处理OBS中存储的数据。 方案架构 Flink是一个批处理和流处理结合的统一计算框架，其核心是
集群不能存在被隔离的主机，如果存在，需要先恢复被隔离主机。 集群有以下要求： 请保持网络畅通，请勿随意拔插网线，避免因网络问题导致升级失败。 集群中各组件服务正常、各实例正常、无故障、无退服的实例。 安装补丁过程中对现行系统的影响 安装补丁过程中会重启OMS，会导致MRS Manager页面无法访问，预计持续10-20分钟。
集群不能存在被隔离的主机，如果存在，需要先恢复被隔离主机。 集群有以下要求： 请保持网络畅通，请勿随意拔插网线，避免因网络问题导致升级失败。 集群中各组件服务正常、各实例正常、无故障、无退服的实例。 安装补丁过程中对现行系统的影响 安装补丁过程中会重启OMS，会导致MRS Manager页面无法访问，预计持续10-20分钟。
集群不能存在被隔离的主机，如果存在，需要先恢复被隔离主机。 集群有以下要求： 请保持网络畅通，请勿随意拔插网线，避免因网络问题导致升级失败。 集群中各组件服务正常、各实例正常、无故障、无退服的实例。 安装补丁过程中对现行系统的影响 安装补丁过程中会重启OMS，会导致MRS Manager页面无法访问，预计持续10-20分钟。
集群不能存在被隔离的主机，如果存在，需要先恢复被隔离主机。 集群有以下要求： 请保持网络畅通，请勿随意拔插网线，避免因网络问题导致升级失败。 集群中各组件服务正常、各实例正常、无故障、无退服的实例。 安装补丁过程中对现行系统的影响 安装补丁过程中会重启OMS，会导致MRS Manager页面无法访问，预计持续10-20分钟。
失败的task信息显示失败原因是lost task xxx。 原因分析 问题1：一般出现executor OOM，都是因为数据量过大，也有可能是因为同一个executor上面同时运行的task太多。 问题2：有些task运行失败会报上述错误。当看到这个报错的时候，需要确认的是丢失的这个tas
决问题列表请参考补丁基本信息。 安装补丁前提条件 集群有以下要求： 请保持网络畅通，请勿随意拔插网线，避免因网络问题导致升级失败。 集群中各组件服务正常、各实例正常、无故障、无退服的实例。 安装补丁过程中对现行系统的影响 升级过程中会重启OMS，会导致MRS Manager页面无法访问，预计持续3-5分钟。
集群不能存在被隔离的主机，如果存在，需要先恢复被隔离主机。 集群有以下要求： 请保持网络畅通，请勿随意拔插网线，避免因网络问题导致升级失败。 集群中各组件服务正常、各实例正常、无故障、无退服的实例。 安装补丁过程中对现行系统的影响 安装补丁过程中会重启OMS，会导致MRS Manager页面无法访问，预计持续10-20分钟。
使用Flume服务端从本地采集动态日志保存到HDFS 该任务指导用户使用Flume服务端从本地采集动态日志保存到HDFS上“/flume/test”目录下。 本配置默认集群网络环境是安全的，数据传输过程不需要启用SSL认证。如需使用加密方式，请参考配置Flume加密传输数据采集任务。该配置为只用一个Flume场景，例如：Taildir
时传输数据。 “源端路径”：参考2中获取的“备份路径”，填写备集群保存备份数据的完整HDFS路径。例如，“备份路径/备份任务名_数据源_任务创建时间/”。 OBS 表示从OBS中恢复数据。选择此参数值，还需要配置以下参数： “源端路径”：参考2中获取的“备份路径”，填写备份文件在
前提条件 已创建Kafka集群，且为安全模式（开启Kerberos认证）。 已安装集群客户端。 如果ClickHouse与Kafka不在同一个集群需要建立跨集群互信，具体请参考配置跨Manager集群互信。 操作步骤 登录Kafka服务所在集群的Manager页面，选择“系统 >
配置Doris冷热分离 该章节主要介绍如何配置和使用Doris冷热分离功能。 前提条件 Doris集群与OBS网络互通，相关操作具体请参考初始化配置。 创建OBS并行文件系统并获取AK/SK和DomainID 创建OBS并行文件系统。 登录OBS管理控制台。 选择“并行文件系统 >
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
