检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用Loader Loader数据导入导出概述 Loader用户权限管理 上传MySQL数据库连接驱动 创建Loader数据导入作业 创建Loader数据导出作业 管理Loader作业 Loader运维管理 Loader算子帮助 客户端工具说明 Loader常见问题
ClickHouse开源增强特性 MRS ClickHouse具备“手动挡”集群模式升级、平滑弹性扩容、高可用HA部署架构等优势能力,具体详情如下: 手动挡集群模式升级 如图1所示,多个ClickHouse节点组成的集群,没有中心节点,更多的是一个静态资源池的概念,业务要使用Cl
使用Flume客户端从Kafka采集日志保存到HDFS 该任务指导用户使用Flume客户端从Kafka客户端的Topic列表(test1)采集日志保存到HDFS上“/flume/test”目录下。 本配置默认集群网络环境是安全的,数据传输过程不需要启用SSL认证。如需使用加密方式
性能优化类 Hadoop压力测试工具如何获取? 如何提高集群Core节点的资源使用率? 如何配置MRS集群knox内存? 如何调整MRS集群manager-executor进程内存? 如何设置Spark作业执行时自动获取更多资源? spark.yarn.executor.memo
使用Flume客户端从Kafka采集日志保存到HDFS 操作场景 该任务指导用户使用Flume客户端从Kafka客户端的Topic列表(test1)采集日志保存到HDFS上“/flume/test”目录下。 本章节适用于MRS 3.x及之后版本。 本配置默认集群网络环境是安全的,
Spark Core企业级能力增强 配置Spark HA增强高可用 配置Spark事件队列大小 配置parquet表的压缩格式 使用Ranger时适配第三方JDK 使用Spark小文件合并工具说明 配置流式读取Spark Driver执行结果 父主题: 使用Spark2x(MRS
HBase性能调优 提升HBase BulkLoad工具批量加载效率 提升HBase连续Put数据场景性能 提升HBase Put和Scan数据性能 提升HBase实时写数据效率 提升HBase实时读数据效率 提升HBase非业务高峰期的Compaction执行速度 HBase JVM参数优化说明
使用多级agent串联从本地采集静态日志保存到HDFS 该任务指导用户使用Flume从本地采集静态日志保存到HDFS上如下目录“/flume/test”。 前提条件 已成功安装集群、HDFS及Flume服务、Flume客户端。 已创建用户flume_hdfs并授权验证日志时操作的HDFS目录和数据。
使用多级agent串联从本地采集静态日志保存到HDFS 操作场景 该任务指导用户使用Flume从本地采集静态日志保存到HDFS上如下目录“/flume/test”。 本章节适用于MRS 3.x及之后版本。 前提条件 已成功安装集群、HDFS及Flume服务、Flume客户端。 已
数据迁移 数据迁移方案介绍 数据迁移到MRS前信息收集 数据迁移到MRS前网络准备 使用CDM服务迁移Hadoop数据至MRS集群 使用CDM服务迁移HBase数据至MRS集群 使用CDM服务迁移Hive数据至MRS集群 使用BulkLoad工具向HBase中批量导入数据 使用CDM服务迁移MySQL数据至MRS
ALM-12055 证书文件即将过期(2.x及以前版本) 告警解释 系统每天二十三点检查一次当前系统中的证书文件,如果当前时间距离过期时间不足告警阈值天数,则证书文件即将过期,产生该告警。 当重新导入一个正常证书,并且状态不为即将过期,该告警恢复。 告警属性 告警ID 告警级别 可自动清除
ALM-12054 证书文件失效(2.x及以前版本) 告警解释 系统在每天二十三点检查当前系统中的证书文件是否失效(即当前集群中的证书文件是否过期,或者尚未生效)。如果证书文件失效,产生该告警。 当重新导入一个正常证书,并且状态不为失效状态,该告警恢复。 告警属性 告警ID 告警级别
建立Hive表分区提升查询效率 操作场景 Hive在做Select查询时,一般会扫描整个表内容,会消耗较多时间去扫描不关注的数据。此时,可根据业务需求及其查询维度,建立合理的表分区,从而提高查询效率。 操作步骤 MRS 3.x之前版本: 登录MRS控制台,在左侧导航栏选择“现有集群”,单击集群名称。选择“节点管理
MRS 1.9.3.9及之后版本补丁说明 MRS 1.9.3.11补丁说明 补丁号 MRS 1.9.3.11 发布时间 2024-02-10 安装前处理 安装此补丁前,如果之前有装过MRS_1x2x_Patch_Diskmgt_20230308.tar.gz补丁,需要先卸载该补丁,卸载完之后请等待10分钟再执行MRS
OpenTSDB应用开发环境简介 在进行二次开发时,要准备的开发环境如表1所示。同时需要准备运行调测的Linux环境,用于验证应用程序运行正常。 表1 开发环境 准备 说明 操作系统 Windows系统,推荐Windows 7及以上版本。 安装JDK 开发环境的基本配置。版本要求:1
使用Loader 从零开始使用Loader Loader使用简介 Loader常用参数 创建Loader角色 Loader连接配置说明 管理Loader连接(MRS 3.x之前版本) 管理Loader连接(MRS 3.x及之后版本) Loader作业源连接配置说明 Loader作业目的连接配置说明
(可选)创建MapReduce样例工程 操作场景 除了导入MapReduce样例工程,您还可以使用IntelliJ IDEA新建一个MapReduce工程。 操作步骤 打开IntelliJ IDEA工具,选择“File > New > Project”,如图1所示。 图1 创建工程
(可选)创建MapReduce样例工程 操作场景 除了导入MapReduce样例工程,您还可以使用IntelliJ IDEA新建一个MapReduce工程。 操作步骤 打开IntelliJ IDEA工具,选择“File > New > Project”,如图1所示。 图1 创建工程
(可选)创建MapReduce样例工程 操作场景 除了导入MapReduce样例工程,您还可以使用IntelliJ IDEA新建一个MapReduce工程。 操作步骤 打开IntelliJ IDEA工具,选择“File > New > Project”,如图1所示。 图1 创建工程
(可选)创建MapReduce样例工程 操作场景 除了导入MapReduce样例工程,您还可以使用IntelliJ IDEA新建一个MapReduce工程。 操作步骤 打开IntelliJ IDEA工具,选择“File > New > Project”,如图1所示。 图1 创建工程