检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
单个区域内所有HStoreFile文件主压缩的时间间隔,单位:毫秒。由于执行Major Compaction会占用较多的系统资源,如果正在处于系统繁忙时期,会影响系统的性能。 如果业务没有较多的更新、删除、回收过期数据空间时,可以把该值设置为0,以禁止Major Compaction。
单个区域内所有HStoreFile文件主压缩的时间间隔,单位:毫秒。由于执行Major Compaction会占用较多的系统资源,如果正在处于系统繁忙时期,会影响系统的性能。 如果业务没有较多的更新、删除、回收过期数据空间时,可以把该值设置为0,以禁止Major Compaction。
导入Doris 离线数据加载:通过Broker Load将ORC格式的Hive数据导入Doris 实时数据加载:通过FlinkSQL将订单表Kafka数据实时同步到Doris 实时OLAP数据查询:基于Unique表的单表检索查询和聚合查询 父主题: 数据分析
实时数据加载:通过FlinkSQL将订单表Kafka数据实时同步到Doris 应用场景 创建MRS FlinkServer作业,将订单表Kafka数据通过FlinkSQL实时同步到Doris,数据新增。 方案架构 对实时性要求较高的场景,可直接将实时流式数据通过FlinkSQL传
求。 实时OLAP场景化方案 实时OLAP场景化方案如图1所示。 图1 实时OLAP场景化方案 数据源:业务系统产生的数据,可以是离线的文件数据,关系型数据库数据,或者实时采集的流式数据等。 大数据平台:实时OLAP的核心数据处理平台,包含离线数据加工、实时数据加工、实时OLAP等模块。
提升HBase实时读数据效率 操作场景 需要读取HBase数据场景。 前提条件 调用HBase的get或scan接口,从HBase中实时读取数据。 操作步骤 读数据服务端调优 参数入口:登录FusionInsight Manager,选择“集群 > 服务 > HBase > 配置
提升HBase实时读数据效率 操作场景 需要提升读取HBase数据性能的场景。 前提条件 调用HBase的get或scan接口,从HBase中实时读取数据。 操作步骤 读数据服务端调优 参数入口:登录FusionInsight Manager,选择“集群 > 服务 > 配置 >
实时OLAP数据查询:基于Unique表的单表检索查询和聚合查询 应用场景 本场景通过基于Unique模型表查询符合条件的数据。基于Unique模型表聚合查询,支持MIN,MAX,SUM,REPLACE四种聚合算法。 方案架构 Doris支持海量数据的亚秒级查询,支持单表数据的聚
实时任务接入 实时作业一般由Flink Sql或Sparkstreaming来完成,流式实时任务通常配置同步生成compaction计划,异步执行计划。 Flink SQL作业中sink端Hudi表相关配置如下: create table denza_hudi_sink ( $H
的数据实时容灾功能,确保后续主集群中修改的数据能够实时同步到备集群中。 一次只能针对一个HTable进行数据同步。 enable_table_replication '表名' 如果备集群中不存在与要开启实时同步的表同名的表,则该表会自动创建。 如果备集群中存在与要开启实时同步的表同名的表,则两个表的结构必须一致。
HDFS文件系统目录简介 HDFS是Hadoop的分布式文件系统(Hadoop Distributed File System),实现大规模数据可靠的分布式读写。HDFS针对的使用场景是数据读写具有“一次写,多次读”的特征,而数据“写”操作是顺序写,也就是在文件创建时的写入或者在
用户名为dorisuser),并修改初始密码。 登录Doris集群Manager页面,详细操作请参考访问MRS集群Manager。 选择“系统 > 权限 > 角色 > 添加角色”,填写角色名称,如“dorisrole”,在“配置资源权限”选择“待操作的集群 > Doris”,勾选
HDFS文件系统目录简介 HDFS是Hadoop的分布式文件系统(Hadoop Distributed File System),实现大规模数据可靠的分布式读写。HDFS针对的使用场景是数据读写具有“一次写,多次读”的特征,而数据“写”操作是顺序写,也就是在文件创建时的写入或者在
ALM-12040 系统熵值不足(2.x及以前版本) 告警解释 每天零点系统检查熵值,每次检查都连续检查五次,首先检查是否启用并正确配置了rng-tools工具,如果没有配置,则继续检查当前熵值,如果五次均小于500,则上报故障告警。 当检查到真随机数方式已经配置或者伪随机数方式
Hive集群业务用户@Hive集群系统域名 输入Hive集群用户相应密码,认证成功即为互信成功。 Hive集群用户:可以自行创建也可使用默认的系统用户,例如hive,用户默认密码请参考MRS集群用户账号一览表。 Hive集群系统域名:可以登录Hive集群Manager页面,选择“系统 > 权限 > 域和互信”,查看“本端域”参数获取。
ALM-19012 HBase系统表目录或文件丢失 告警解释 系统按120秒周期性检测HBase在HDFS上的如下目录和文件是否存在,当检测到文件或者目录不存在时,上报该告警。当文件或目录都恢复后,告警恢复。 检查内容: 命名空间hbase在HDFS上的目录。 hbase.version文件。
用户名为dorisuser),并修改初始密码。 登录Doris集群Manager页面,详细操作请参考访问MRS集群Manager。 选择“系统 > 权限 > 角色 > 添加角色”,填写角色名称,如“dorisrole”,在“配置资源权限”选择“待操作的集群 > Doris”,勾选
式为“doris/hadoop.${系统域名转换为小写}@${系统域名}”,系统域名可登录Manager页面,选择“系统 > 权限 > 域和互信”,查看“本端域”参数获取。Hive与Doris非同集群部署时要使用Hive用户@Hive集群的系统域名,如hive/hadoop.hadoop
登录集群Manager页面,详细操作请参考访问MRS集群Manager。 在Manager界面选择“系统 > 权限 > 角色”创建一个Hive角色(例如“hiverole”),详细操作请参考创建Hive角色。 选择“系统 > 权限 > 用户 > 添加用户”,根据界面提示创建一个人机用户(例如hive
修改MRS集群系统用户密码 修改或重置MRS集群admin用户密码 修改MRS集群节点操作系统用户密码 修改MRS集群Kerberos管理员用户密码 修改MRS集群Manager用户密码 修改MRS集群LDAP普通用户密码 修改MRS集群LDAP管理账户密码 修改MRS集群组件运行用户密码