检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
为什么存储小文件过程中,缓存中的数据会丢失 问题 在存储小文件过程中,系统断电,缓存中的数据丢失。 回答 由于断电,当写操作完成之后,缓存中的block不会立即被写入磁盘,如果要同步地将缓存的block写入磁盘,用户需要将“客户端安装路径/HDFS/hadoop/etc/hadoop/hdfs-site
为什么存储小文件过程中,缓存中的数据会丢失 问题 在存储小文件过程中,系统断电,缓存中的数据丢失。 回答 由于断电,当写操作完成之后,缓存中的block不会立即被写入磁盘,如果要同步地将缓存的block写入磁盘,用户需要将“客户端安装路径/HDFS/hadoop/etc/hadoop/hdfs-site
lickHouse实例异常时,系统产生此告警。 当系统检测到任一ClickHouse实例恢复正常,且告警处理完成时,告警恢复。 告警属性 告警ID 告警级别 是否自动清除 45425 紧急 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称 服务名 产生告警的服务名称
切换Hive执行引擎为Tez Hive负载均衡 配置Hive单表动态视图的访问控制权限 配置创建临时函数的用户不需要具有ADMIN权限 配置具备表select权限的用户可查看表结构 配置仅Hive管理员用户能创建库和在default库建表 配置Hive支持创建超过32个角色 创建Hive用户自定义函数
ensureRocksDBIsLoaded(RocksDBStateBackend.java:734) ... 11 more 可能原因 运行的系统和编译环境所在的系统版本不同,造成GLIBC的版本不兼容。 定位思路 使用strings /lib64/libpthread.so.0 | grep
ensureRocksDBIsLoaded(RocksDBStateBackend.java:734) ... 11 more 可能原因 运行的系统和编译环境所在的系统版本不同,造成GLIBC的版本不兼容。 定位思路 使用strings /lib64/libpthread.so.0 | grep
Coordinator进程垃圾收集时间超出阈值(2.x及以前版本) 告警解释 系统每30s周期性采集Presto Coordinator进程的垃圾收集(GC)时间,当检测到GC时间超出阈值(连续3次检测超过5s)时产生该告警。用户可在MRS Manager中通过“系统设置> 阈值配置 > 服务 > Presto >
在HDFS命令行显式添加要访问的OBS文件系统。 例如: 使用以下命令访问OBS文件系统。 hdfs dfs -ls obs://OBS并行文件系统名称/路径 使用以下命令创建OBS文件系统下的目录: hdfs dfs -mkdir obs://OBS并行文件系统名称/hadoop 使用以下命令上传客户端节点“/opt/test
在Yarn命令行显式添加要访问的OBS文件系统。 使用以下命令访问OBS文件系统。 hdfs dfs -ls obs://OBS并行文件系统名称/路径 使用以下命令创建OBS文件系统下的目录: hdfs dfs -mkdir obs://OBS并行文件系统名称/hadoop1 执行以下Yarn任务访问OBS:
ALM-29000 Impala服务不可用 告警解释 以30s为周期检测Impala服务状态,当检测到Impala服务异常时,系统产生此告警。 当系统检测到Impala服务恢复正常,或告警处理完成时,告警解除。 告警属性 告警ID 告警级别 是否可自动清除 29000 紧急 是 告警参数
ensureRocksDBIsLoaded(RocksDBStateBackend.java:734) ... 11 more 可能原因 运行的系统和编译环境所在的系统版本不同,造成GLIBC的版本不兼容。 定位思路 使用strings /lib64/libpthread.so.0 | grep
ive服务。 进入beeline客户端,在创建表时指定Location为OBS文件系统路径。 beeline 例如,创建一个表“test”,该表的Location为“obs://OBS并行文件系统名称/user/hive/warehouse/数据库名/表名”: create table
升级Master节点规格 MRS大数据集群采用Manager实现集群的管理,而管理集群的相关服务,如HDFS存储系统的NameNode,Yarn资源管理的ResourceManager,以及MRS的Manager管理服务都部署在集群的Master节点上。 随着新业务的上线,集群规
datasight.io.compress.lzc.ZCodec LZC压缩格式不支持FSImage和SequenceFile压缩。 当前HDFS提供了多种压缩算法,包括Gzip、LZ4、Snappy、Bzip2等。这几种压缩算法的压缩比和解压速度可参考如下: 压缩比排序:Bzip2>Gzip>LZ4>Snappy
告警模块按60秒周期检测Doris服务状态,当检测到所有FE和BE实例异常时,系统产生此告警。 当系统检测到任意FE或BE实例恢复正常,告警恢复。 告警属性 告警ID 告警级别 是否可自动清除 50201 紧急 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称 服务名 产生告警的服务名称 角色名 产生告警的角色名称
Hive开源增强特性:支持数据库授权 Hive开源社区版本只支持数据库的拥有者在数据库中创建表。MRS Hive支持授予用户在数据库中创建表“CREATE”和查询表“SELECT”权限。当授予用户在数据库中查询的权限之后,系统会自动关联数据库中所有表的查询权限。 Hive开源增强特性:支持列授权
JobHistory GC 时间超出阈值(2.x及以前版本) 告警解释 系统每60秒周期性检测JobHistory进程的GC时间,当检测到JobHistory进程的GC时间超出阈值(连续3次检测超过12秒)时产生该告警。 用户可通过“系统设置 > 阈值配置 > 服务 > Spark > JobHistory的GC时间
集群生命周期管理 MRS支持集群的生命周期管理包括创建集群和删除集群。 创建集群:支持用户定制集群的类型、组件范围、各类型的节点数、虚拟机规格、可用区、VPC网络、认证信息,MRS将为用户自动创建一个符合配置的集群,全程无需用户参与;同时支持用户在集群中运行自定义内容;支持快速创建多应用场
ALM-17003 Oozie服务不可用 告警解释 系统每5秒周期性检测Oozie服务状态,当Oozie或者Oozie所依赖的组件无法正常提供服务时,系统产生此告警。 当Oozie服务恢复可用状态时,告警自动消除。 告警属性 告警ID 告警级别 是否自动清除 17003 紧急 是
再进行aggregate操作 支持以下几种: 支持的聚合函数为:sum, avg, max, min,count 所有aggregate只能来自同一个表,group by可以来自一个表或者两个表,只支持inner join。 不支持的情形有: 不支持aggregate同时来自join左表和右表的下推。