检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置MRS集群远程运维 当用户使用集群过程中出现问题需要华为云支持人员协助解决时,用户可先联系华为云支持人员,再通过运维授权功能授权华为云支持人员访问用户机器的权限用于定位问题,或通过“日志共享”功能提供特定时间段内的日志给华为云支持人员以便定位问题。 开启MRS集群远程运维授权 登录MRS管理控制台。
Manager主备节点同步数据异常 ALM-12012 NTP服务异常 ALM-12014 设备分区丢失 ALM-12015 设备分区文件系统只读 ALM-12016 CPU使用率超过阈值 ALM-12017 磁盘容量不足 ALM-12018 内存使用率超过阈值 ALM-12027
HBase计划性迁移后存量复制导致全量数据重复迁移。 Cache key had block type null日志打印过多,可能影响性能。 ALM-19012告警HBase系统表目录或文件丢失告警误报。 健康检查脚本执行异常导致上报HBase服务不可用误告警。 解决Yarn问题: RM长时间运行后发现大量Cont
API 提供HDFS文件系统的应用接口,本开发指南主要介绍如何使用Java API进行HDFS文件系统的应用开发。 C API 提供HDFS文件系统的应用接口,使用C语言开发的用户可参考C接口的描述进行应用开发。 Shell 提供shell命令完成HDFS文件系统的基本操作。 HTTP
解决Oozie修改GC配置不生效的问题。 补齐HBase SLI告警。 解决容灾集群计划性迁移时会触发全量备份的问题。 解决告警ALM-19012 HBase系统表目录或文件丢失告警误报的问题。 解决写入HBase数据将磁盘写满的问题。 解决检查HBase进程的异常日志hs_err_pid_*.lo
MRS可以实时监控大数据集群,通过告警和事件可以识别系统健康状态。同时MRS也支持用户自定义配置监控与告警阈值用于关注各指标的健康情况,当监控数据达到告警阈值,系统将会触发一条告警信息。 MRS还可以与华为云消息通知服务(SMN)的消息服务系统对接,将告警信息通过短信或者邮件等形式推送给用户。具体介绍请参见集群状态消息通知。
本章节适用于将线下IDC机房或者公有云Hive集群中的数据(支持数据量在几十TB级别或以下的数据量级)迁移到华为云MRS服务。 使用华为云CDM服务“场景迁移功能”可以一键式便捷地完成Hive数据的迁移。 本章节以通过华为云CDM服务 2.9.1.200版本进行数据迁移为例介绍。不同版本操作可能有差异,具
obs://并行文件系统名称/tmp/flinkjob/test -output obs://并行文件系统名称/tmp/flinkjob/output 由于Flink作业是On Yarn运行,在配置Flink对接OBS文件系统之前需要确保Yarn对接OBS文件系统功能是正常的。 父主题:
计算和存储能力,完成海量数据的处理。企业自行部署Hadoop系统有成本高,周期长,难运维和不灵活等问题。 针对上述问题,华为云提供了大数据MapReduce服务(MRS),MRS是一个在华为云上部署和管理Hadoop系统的服务,一键即可部署Hadoop集群。MRS提供租户完全可控
漏洞公告 Apache Log4j2 远程代码执行漏洞(CVE-2021-44228)公告 Apache Log4j2 远程代码执行漏洞(CVE-2021-44228)修复指导 MRS Fastjson漏洞修复指导
Flume常见问题 如何查看Flume日志 如何在Flume配置文件中使用环境变量 如何开发Flume第三方插件 如何配置Flume定制脚本 父主题: 使用Flume
增强HBase BulkLoad工具数据迁移能力 使用BulkLoad工具批量导入HBase数据 使用BulkLoad工具批量更新HBase数据 使用BulkLoad工具批量删除HBase数据 使用BulkLoad工具查询HBase表的行统计数 BulkLoad工具配置文件说明 父主题:
HBase常见问题 结束BulkLoad客户端程序导致作业执行失败 如何修复长时间处于RIT状态的Region HMaster等待NameSpace表上线时超时退出 客户端查询HBase出现SocketTimeoutException异常 在启动HBase shell时,报错“java
使用Ranger(MRS 3.x) 登录Ranger WebUI界面 MRS集群服务启用Ranger鉴权 添加Ranger权限策略 Ranger权限策略配置示例 查看Ranger审计信息 配置Ranger安全区信息 普通集群修改Ranger数据源为Ldap 查看Ranger用户权限同步信息
作业管理 批量迁移Loader作业 批量删除Loader作业 批量导入Loader作业 批量导出Loader作业 查看作业历史信息 父主题: 使用Loader
输入算子 CSV文件输入 固定宽度文件输入 表输入 HBase输入 HTML输入 Hive输入 Spark输入 父主题: 算子帮助
Spark Core性能调优 Spark Core数据序列化 Spark Core内存调优 Spark Core内存调优 配置Spark Core广播变量 配置Spark Executor堆内存参数 使用External Shuffle Service提升Spark Core性能
客户端工具说明 使用命令行运行Loader作业 loader-tool工具使用指导 loader-tool工具使用示例 schedule-tool工具使用指导 schedule-tool工具使用示例 使用loader-backup工具备份作业数据 开源sqoop-shell工具使用指导
CarbonData性能调优 CarbonData调优思路 CarbonData性能调优常见配置参数 创建CarbonData Table的建议 父主题: 使用CarbonData(MRS 3.x及之后版本)
DDL CREATE TABLE CREATE TABLE As SELECT DROP TABLE SHOW TABLES ALTER TABLE COMPACTION TABLE RENAME ADD COLUMNS DROP COLUMNS CHANGE DATA TYPE