检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
上传应用数据至MRS集群 MRS集群处理的数据源通常来源于OBS文件系统或集群内的HDFS文件系统，OBS为客户提供海量、安全、高可靠、低成本的数据存储能力。 用户可以基于MRS管理控制台和OBS客户端对OBS数据进行浏览、管理和使用，也可以将OBS的数据导入集群的HDFS系统后进行处理
调整Spark Core进程参数 操作场景 Spark on Yarn模式下，有Driver、ApplicationMaster、Executor三种进程。在任务调度和运行的过程中，Driver和Executor承担了很大的责任，而ApplicationMaster主要负责container
调整Spark Core进程参数 操作场景 Spark on Yarn模式下，有Driver、ApplicationMaster、Executor三种进程。在任务调度和运行的过程中，Driver和Executor承担了很大的责任，而ApplicationMaster主要负责container
ClickHouse日志介绍 日志描述 日志路径：ClickHouse相关日志的默认存储路径为“${BIGDATA_LOG_HOME}/clickhouse”。 日志归档规则：ClickHouse日志启动了自动压缩归档功能，缺省情况下，当日志大小超过100MB的时候，会自动压缩，压缩后的日志文件名规则为
与其他云服务的关系 MRS服务与周边其他云服务的关系如图1所示。 图1 MRS与其他云服务的关系图 MRS服务与其他云服务的关系 表1 MRS服务与其他云服务的关系 服务名称 MRS服务与其他服务的关系 主要交互功能 虚拟私有云（Virtual Private Cloud） MRS
ZooKeeper日志介绍 日志描述 日志存储路径：“/var/log/Bigdata/zookeeper/quorumpeer”（运行日志），“/var/log/Bigdata/audit/zookeeper/quorumpeer”（审计日志） 日志归档规则：ZooKeeper的日志启动了自动压缩归档功能
Oozie日志介绍 日志描述 日志路径：Oozie相关日志的默认存储路径为： 运行日志：“/var/log/Bigdata/oozie”。 审计日志：“/var/log/Bigdata/audit/oozie”。 日志归档规则：Oozie的日志分三类：运行日志、 脚本日志和审计日志
Oozie日志介绍 日志描述 日志路径：Oozie相关日志的默认存储路径为： 运行日志：“/var/log/Bigdata/oozie”。 审计日志：“/var/log/Bigdata/audit/oozie”。 日志归档规则：Oozie的日志分三类：运行日志、 脚本日志和审计日志
Flume日志介绍 日志描述 日志路径：Flume相关日志的默认存储路径为“/var/log/Bigdata/角色名”。 FlumeServer：“/var/log/Bigdata/flume/flume” FlumeClient：“/var/log/Bigdata/flume-client-n
配置HetuEngine SQL防御规则 配置HetuEngine SQL防御操作场景 用户可以在Manager界面配置HetuEngine的SQL防御规则，根据业务调整对应SQL防御规则的参数。 配置HetuEngine SQL防御前提条件 已安装包含HetuEngine服务的集群客户端
初始化HDFS 功能简介 在使用HDFS提供的API之前，需要先进行HDFS初始化操作。过程为： 加载HDFS服务配置文件，并进行kerberos安全认证。 认证通过后，实例化Filesystem。 此处kerberos安全认证需要使用到的keytab文件，请提前准备。 代码样例
配置并导入JDBC样例工程 操作场景 为了运行Doris组件的JDBC接口样例代码，需要完成下面的操作。 操作步骤 参考获取MRS应用开发样例工程，获取样例代码解压目录中“src\doris-examples”目录下的样例工程文件夹“doris-jdbc-example”。 导入样例工程到
HDFS应用开发规则 HDFS NameNode元数据存储路径 NameNode元数据信息的默认存储路径为“${BIGDATA_DATA_HOME}/namenode/data”，该参数用于确定HDFS文件系统的元数据信息的保存路径。 HDFS需要开启NameNode镜像备份 NameNode
Yarn节点配置调优 操作场景 合理配置大数据集群的调度器后，还可通过调节每个节点的可用内存、CPU资源及本地磁盘的配置进行性能调优。 具体包括以下配置项： 可用内存 CPU虚拟核数 物理CPU使用百分比 内存和CPU资源的协调 本地磁盘 操作步骤 如果您需要对参数配置进行调整，具体操作请参考修改集群服务配置参数
Storm基本原理 Apache Storm是一个分布式、可靠、容错的实时流式数据处理的系统。在Storm中，先要设计一个用于实时计算的图状结构，称之为拓扑（topology）。这个拓扑将会被提交给集群，由集群中的主控节点（master node）分发代码，将任务分配给工作节点（worker
配置Ranger元数据存储至RDS 本章节旨在指导用户将现有集群的Ranger元数据切换为RDS数据库中存储的元数据。该操作可以使多个MRS集群共用同一份元数据，且元数据不随集群的删除而删除，也能够避免集群迁移时Ranger元数据的迁移。 停用集群组件Ranger鉴权 该操作仅在MRS
配置Hive元数据存储至RDS 本章节指导用户将现有集群的Hive元数据切换为本地数据库或者RDS数据库中存储的元数据。该操作可以使多个MRS集群共用同一份元数据，且元数据不随集群的删除而删除，也能够避免集群迁移时Hive元数据的迁移。 创建并配置RDS实例 登录RDS管理控制台，
使用Loader从SFTP服务器导入数据到Hive 操作场景 该任务指导用户使用Loader将数据从SFTP服务器导入到Hive。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业中指定的Hive表的权限。 获取SFTP服务器使用的用户和密码
使用Loader从HDFS导出数据到ClickHouse 本章节适用于MRS 3.3.0及以后版本。 操作场景 该任务指导用户使用Loader将文件从HDFS导出到ClickHouse。 前提条件 在FusionInsight Manager创建一个角色，添加ClickHouse逻辑集群的管理权限以及
Yarn节点配置调优 操作场景 合理配置大数据集群的调度器后，还可通过调节每个节点的可用内存、CPU资源及本地磁盘的配置进行性能调优。 具体包括以下配置项： 可用内存 CPU虚拟核数 物理CPU使用百分比 内存和CPU资源的协调 本地磁盘 操作步骤 若您需要对参数配置进行调整，具体操作请参考修改集群服务配置参数
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
