检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MRS集群服务对接OBS示例 配置Flink通过IAM委托访问OBS 配置Flume通过IAM委托访问OBS 配置HDFS通过IAM委托访问OBS 配置Hive通过IAM委托访问OBS 配置Hudi通过IAM委托访问OBS 配置MapReduce通过IAM委托访问OBS 配置Presto通过IAM委托访问OBS
应用场景 本章节适用于将线下IDC机房或者公有云Hive集群中的数据(支持数据量在几十TB级别或以下的数据量级)迁移到华为云MRS服务。 使用华为云CDM服务“场景迁移功能”可以一键式便捷地完成Hive数据的迁移。 本章节以通过华为云CDM服务 2.9.1.200版本进行数据迁移为例介绍
加入黑名单中的Executor会残留。 MRS集群Spark2x的“listing.ldb”文件夹不自动清理,导致根目录写满。 Spark数据保护黑名单中防止创建表Location指定路径到库后,导致删除表之后库数据丢失。 Spark启用Ranger鉴权场景中的show tables性能增强。
在左侧导航栏中选择“现有集群”,选中一个运行中的集群并单击集群名称,进入集群信息页面。 在页面右上角单击“运维”,选择“日志共享”,进入“日志共享”界面。 在“起止时间”的输入框单击选择日期和时间。 “起止时间”按照华为云支持人员的建议选取。 结束时间的选择的时间必须大于开始时间选择的时间,否则,无法根据时间筛选日志。
SQL中查询表格大于10张时,查询结果排序与实际的排序不符。 JobGateway提交的SparkSql/SparkScript同名列作业展示的结果不正确。 JobBalance连接数监控为空。 管控面提交Spark作业Jar包所在的桶与业务桶使用同一个时,长时间运行后访问obs 403。 解决ClickHouse问题:
配置MRS集群通过IAM委托对接OBS 配置MRS集群通过IAM委托对接OBS 配置MRS集群组件回收站目录清理策略 MRS集群服务对接OBS示例 配置MRS集群用户的OBS的细粒度访问权限 父主题: 配置MRS集群存算分离
查看权限显示错误的问题。 解决使用ClickHouse管理员权限角色进行权限修改时,取消单个库的管理权限后,其他权限丢失的问题。 解决管理面1条慢查询在界面上报2条同样的查询信息的问题。 解决ALM-12054 证书文件失效告警误报的问题。 ClickHouse的nginx参数优
安全性是华为云与您的共同责任,如图1所示。 华为云:负责云服务自身的安全,提供安全的云。华为云的安全责任在于保障其所提供的IaaS、PaaS和SaaS各类各项云服务自身的安全,涵盖华为云数据中心的物理环境设施和运行其上的基础服务、平台服务、应用服务等。这不仅包括华为云基础设施和各项云服务
配置MRS集群通过Guardian对接OBS 配置Guardian服务对接OBS MRS集群服务对接OBS示例 父主题: 配置MRS集群存算分离
ALM-50211 BE的各种定期汇报任务在FE端的队列长度超过阈值 ALM-50212 FE进程的老年代GC耗时累计值超过阈值 ALM-50213 FE中和BE交互的线程池中正在排队的任务数超过阈值 ALM-50214 FE中处理任务的线程池中正在排队的任务数超过阈值 ALM-50215
MapReduce多组件调用样例 MapReduce服务 MRS Hive的HCatalog接口调用样例 10:40 Hive的HCatalog接口调用样例 MapReduce服务 MRS Hive的JDBC接口调用样例 12:57 Hive的JDBC接口调用样例 MapReduce服务 MRS HBase通用API使用样例
版本支持公告 MRS集群版本生命周期
Spark Spark基本原理 Spark HA方案介绍 Spark与其他组件的关系 Spark开源增强特性 父主题: 组件介绍
Hive Hive基本原理 Hive CBO原理介绍 Hive与其他组件的关系 Hive开源增强特性 父主题: 组件介绍
Hue Hue基本原理 Hue与其他组件的关系 Hue开源增强特性 父主题: 组件介绍
Kafka Kafka基本原理 Kafka与其他组件的关系 Kafka开源增强特性 父主题: 组件介绍
Flume Flume基本原理 Flume与其他组件的关系 Flume开源增强特性 父主题: 组件介绍
YARN YARN基本原理 YARN HA方案介绍 Yarn与其他组件的关系 YARN开源增强特性 父主题: 组件介绍
组件介绍 Alluxio CarbonData ClickHouse CDL DBService Doris Flink Flume Guardian HBase HDFS HetuEngine Hive Hudi Hue Iceberg Impala IoTDB Kafka KafkaManager
WebUI界面。 单击待查看的作业ID。 单击“Tracking URL”后的“ApplicationMaster”或“History”。 单击左侧导航栏的“Configuration”,在右上角搜索“hive.query.string”参数,即可查询出对应的HiveSQL。 父主题: