检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MRS 1.9.3.1 发布时间 2020-09-04 解决的问题 MRS Manager 解决自定义集群缩容Task节点失败问题 MRS大数据组件 解决Hive和Spark路径下adapter-hadoop-wrapper-file-system包版本错误问题 解决HBase服
配置Hive表、列或数据库的用户权限 操作场景 使用Hive表或者数据库时,如果用户访问别人创建的表或数据库,需要授予对应的权限。为了实现更严格权限控制,Hive也支持列级别的权限控制。如果要访问别人创建的表上某些列,需要授予列权限。以下介绍使用Manager角色管理功能在表授权、列授权和数据库授权三个场景下的操作。
YLIN_HOME}/bin/sample.sh验证kylin是否正常运行。 在华为云严选商城中有提供基于Apache Kylin的企业级大数据智能分析平台Kyligence Enterprise,您可以根据需要选择使用。 父主题: 周边生态对接类
ALM-19000 HBase服务不可用 告警解释 告警模块按120秒周期检测HBase服务状态。当HBase服务不可用时产生该告警。 HBase服务恢复时,告警清除。 告警属性 告警ID 告警级别 是否自动清除 19000 紧急 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。
内存不足导致HDFS NameNode启动失败 问题背景与现象 场景一:重启HDFS服务后,HDFS的状态为Bad,且NameNode实例状态异常,并且很久没有退出安全模式。 场景二:NameNode启动时,启动超时后启动失败,原生页面无法打开。 原因分析 在NameNode运行
HBase ACL安全配置 功能简介 访问权限控制,在关系型数据库中是一个已经很成熟的技术,HBase实现了一个较为简单的特性。这些特性归纳为读(R)、写(W)、创建(C)、执行(X)和管理(A)等。在普通模式下,该功能只有在开启HBase权限管理时才支持。 ACL的方法定义在工具类org
数。 Batch 使用Scan调用next接口每次最大返回的记录数,与一次读取的列数有关。 Caching RPC请求返回next记录的最大数量,该参数与一次RPC获取的行数有关。 父主题: HBase数据读写样例程序
数。 Batch 使用Scan调用next接口每次最大返回的记录数,与一次读取的列数有关。 Caching RPC请求返回next记录的最大数量,该参数与一次RPC获取的行数有关。 父主题: 开发HBase应用
数。 Batch 使用Scan调用next接口每次最大返回的记录数,与一次读取的列数有关。 Caching RPC请求返回next记录的最大数量,该参数与一次RPC获取的行数有关。 父主题: HBase数据读写示例程序
Elasticsearch实时搜索和分析功能结合在一起。 它能够让您快速深入了解大数据,并让您在Hadoop生态系统中更好地开展工作。 方案架构 Hive是建立在Hadoop上的数据仓库框架,提供大数据平台批处理计算能力,能够对结构化/半结构化数据进行批量分析汇总完成数据计算。提供类似SQL的Hive
文件最大数目为20。 运行日志默认单个文件最大值为100MB,日志归档文件最大数目为20,其中HetuEngine计算实例运行日志单个文件最大值为100MB,归档在HDFS上的日志默认保留30天。 如果需要修改实例的运行日志或审计日志的单个文件最大值或者日志归档文件最大数目,请执行如下操作:
HBase与其他组件的关系 HBase和HDFS的关系 HDFS是Apache的Hadoop项目的子项目,HBase利用Hadoop HDFS作为其文件存储系统。HBase位于结构化存储层,Hadoop HDFS为HBase提供了高可靠性的底层存储支持。除了HBase产生的一些日
单表数据总条数*单表数据大小/1024/1024 非分区表桶数 = MAX(单表数据量大小(G)/2G*2,再向上取整,4) 分区表 最近一个月最大数据量分区数据总条数 = 入湖前咨询产品线 单条数据大小 = 平均 1KB(华为建议通过select * from tablename limit
Loader数据导入导出概述 Loader数据导入简介 Loader是实现MRS与外部数据源如关系型数据库、SFTP服务器、FTP服务器之间交换数据和文件的ETL工具,支持将数据或文件从关系型数据库或文件系统导入到MRS系统中。 Loader支持如下数据导入方式: 从关系型数据库导入数据到HDFS/OBS
2.2 发布时间 2021-05-18 解决的问题 MRS Manager 解决sudo提权漏洞 解决扩容刷新队列会导致队列丢失问题 MRS大数据组件 解决Hive on Spark任务报block id乱码,导致任务卡住问题 Hive中增加自研的接口 解决map.xml无法读取的问题
ZooKeeper上数据错乱导致ClickHouse启动失败问题 问题现象 ClickHouse集群中某实例节点启动失败,该实例节点启动日志中有如下类似报错信息: 2021.03.15 21:01:19.816593 [ 11111 ] {} <Error> Application:
创建Ranger集群 参考购买自定义集群创建集群,组件选择时勾选Ranger组件。 目前MRS 1.9.2集群仅普通模式集群支持Ranger组件,开启Kerberos认证的安全集群不支持Ranger组件。 图1 选择Ranger组件 选择是否开启“使用外部数据源存储元数据”功能。
无法创建新的omm进程。 服务或进程故障之后无法重启。 可能原因 用户CGroup任务数使用率过高,超过阈值90%。 处理步骤 检查omm用户同时打开的线程最大数的配置是否合理。 登录FusionInsight Manager页面,选择“运维 > 告警 > 告警”,单击此告警所在行的,在定位信息中查
Hive:建立在Hadoop基础上的开源的数据仓库。MRS支持提交HiveScript脚本和直接执行Hive SQL语句。 Flink:提供一个分布式大数据处理引擎,可对有限数据流和无限数据流进行有状态计算。 HadoopStreaming:HadoopStreaming作业像普通Hadoo
迁移HBase索引数据 操作场景 MRS 1.7及其以后版本中使用的索引与以前MRS版本中HBase使用的二级索引都不兼容。因此,为了将索引数据从以前的版本(MRS 1.5及其以前版本)迁移到MRS 1.7及其以后版本,需要遵循以下步骤。 前提条件 迁移数据时旧版本集群应为MRS1