检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
集群管理类 缩容Task节点失败 如何处理集群内部OBS证书过期 MRS集群更换磁盘(适用于2.x及之前) MRS集群更换磁盘(适用于3.x) MRS备份任务执行失败 Core节点出现df显示的容量和du显示的容量不一致 如何解除网络ACL的关联子网 修改节点主机名后导致MRS集群状态异常
迁移MRS集群内ClickHouse数据至其他MRS集群 扩容ClickHouse节点磁盘 通过数据文件备份恢复ClickHouse数据 配置ClickHouse系统表的生命周期 配置ClickHouse默认用户密码(MRS 3.1.2-LTS版本) 修改ClickHouse默认用户密码(MRS
配置MRS集群告警阈值 配置MRS集群告警屏蔽状态 配置MRS集群对接SNMP网管平台上报告警 配置MRS集群对接Syslog服务器上报告警 配置定时备份告警与审计信息 开启MRS集群维护模式停止上报告警 配置MRS集群告警事件消息通知 父主题: MRS集群运维
更新域:更新域步骤,配置当满足某些条件时,更新指定字段的值。 输出类型 文件输出:文本文件输出步骤,配置已生成的字段通过分隔符连接并输出到文件。 表输出:关系型数据库输出步骤,配置输出的字段对应到数据库的指定列。 HBase输出:HBase表输出步骤,配置已生成的字段输出到HBase表的列。 Hive输出:Hi
在“名称”中输入作业的名称。 在“类型”中选择“导出”。 在“组”中设置作业所属组,默认没有已创建的组,单击“添加”创建一个新的组,输入组的名称,单击“确定”保存。 在“队列”中选择执行该作业的YARN队列。默认值“root.default”。 在“优先级”中选择执行该作业的YARN队列
0时报数据格式错误 通过sqoop import命令从PgSQL导出数据到Hive时报错 通过Sqoop读取MySQL数据并写parquet文件到OBS时失败 通过Sqoop迁移数据库数据时报错
一个DataBase内,只允许有一个正在执行的恢复作业。 Doris数据恢复支持最小分区(Partition)级别的操作,当表的数据量很大时,建议按分区分别执行,以降低失败重试的代价。 因为备份恢复操作,操作的都是实际的数据文件。所以当一个表的分片过多,或者一个分片有过多的小版本时,可能即使总数据量很小,依然需要恢复很长时间。
Hive使用WHERE条件查询超过3.2万分区的表报错 使用IBM的JDK访问beeline客户端出现连接HiveServer失败 Hive表的Location支持跨OBS和HDFS路径吗 MapReduce引擎无法查询Tez引擎执行union语句写入的数据 Hive是否支持对同一张表或分区进行并发写数据
'/tmp/export';命令导入表会将导出的表导入到指定的表中,需注意以下两点: 如果目标集群上不存在与指定的表名相同的表,在导入表的过程中会创建该表。 如果目标集群上已存在与指定的表名相同的表,该表对应的HDFS目录下必须为空,否则导入失败。 “haclusterX”为新增的自定义参数“dfs.namenode
数据迁移方案介绍 准备工作 元数据导出 数据复制 数据恢复 父主题: 数据迁移
主备集群必须已配置跨集群拷贝。 主备集群上的时间必须一致,而且主备集群上的NTP服务必须使用同一个时间源。 必须在主备集群的所有节点的hosts文件中,配置主备集群所有机器的机器名与业务IP地址的对应关系。 若主集群的客户端安装在集群外的节点上,也需在该节点的hosts文件中配置主
<num_maps> 最大的同时运行的执行拷贝的任务数。 -numListstatusThreads 构建被拷贝文件的文件列表时所用的线程数,该选项会提高distcp的运行速度。 -overwrite 覆盖目标位置的文件。 -update 如果源位置和目标位置的文件的大小,校验和不同,则更新目标位置的文件。
Hive使用WHERE条件查询超过3.2万分区的表报错 使用IBM的JDK访问Beeline客户端出现连接HiveServer失败 Hive表的Location支持跨OBS和HDFS路径吗 MapReduce引擎无法查询Tez引擎执行union语句写入的数据 Hive是否支持对同一张表或分区进行并发写数据
导出命令的超时时间同查询的超时时间,可以通过SET query_timeout=xxx进行设置。 对于结果集为空的查询,依然会产生一个大小为0的文件。 文件切分会保证一行数据完整的存储在单一文件中,因此文件的大小并不严格等max_file_size。 对于部分输出为非可见字符的函数,如BITMAP、HLL类型,输出为\N,即NULL。
导出MRS集群配置参数 管理员可以将MRS集群中各组件的关键服务端配置参数导出,用于快速检查或者备份集群内组件配置。 前提条件 如果通过MRS管理控制台操作,需要已完成IAM用户同步(在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步)。 如果通过Mana
加入黑名单中的Executor会残留。 MRS集群Spark2x的“listing.ldb”文件夹不自动清理,导致根目录写满。 Spark数据保护黑名单中防止创建表Location指定路径到库后,导致删除表之后库数据丢失。 Spark启用Ranger鉴权场景中的show tables性能增强。
username 同步hive时,指定的用户名。 hive hoodie.datasource.hive_sync.password 同步hive时,指定的密码。 hive hoodie.datasource.hive_sync.jdbcurl 连接hive jdbc指定的连接。 "" hoodie
Kafka Kafka基本原理 Kafka与其他组件的关系 Kafka开源增强特性 父主题: 组件介绍
directory) 原因分析 在History Server页面加载Task个数较多的Spark应用时,由于无法把全部的数据放入内存中,导致数据溢出到磁盘时,会产生前缀为“temp_shuffle”的文件。 HistoryServer默认会缓存50个Spark应用(由配置项“spark
directory) 回答 在History Server页面加载Task个数较多的Spark应用时,由于无法把全部的数据放入内存中,导致数据溢出到磁盘时,会产生前缀为“temp_shuffle”的文件。 HistoryServer默认会缓存50个Spark应用(由配置项“spark