-
HetuEngine数据类型说明 - MapReduce服务 MRS
QDIGEST 分位数(Quantile),亦称分位点,是指将一个随机变量的概率分布范围分为几个等份的数值点,常用的有中位数(即二分位数)、四分位数、百分位数等。
-
创建HBase全局二级索引 - MapReduce服务 MRS
在已有存量数据的表上创建全局二级索引,需要创建索引预分区,防止索引表出现热点,索引表数据的rowkey由索引列构成,并且包含分隔符,格式为“\x01索引值\x00”,因此预分区需要指定成对应格式,例如,当使用id列和age列作为索引列时,两个列均为整数,使用id列完成预分区,可以指定索引表预分区点为
-
Manager样例程序开发思路 - MapReduce服务 MRS
流程分解 根据上述的业务场景进行功能分解,需要开发的功能点如表1所示。 表1 在Manager中开发的功能 序号 步骤 代码实现 1 添加用户 请参见添加Manager用户。 2 查找用户 请参见查找Manager用户。 3 修改用户 请参见修改Manager用户。
-
Storm应用开发简介 - MapReduce服务 MRS
Storm有如下几个特点: 适用场景广泛 易扩展,可伸缩性高 保证无数据丢失 容错性好 多语言 易于构建和操控 父主题: Storm应用开发概述
-
Oozie应用开发简介 - MapReduce服务 MRS
Oozie主要特点: 支持分发、聚合、选择等工作流程模式。 与Hadoop生态系统各组件紧密结合。 流程变量支持参数化。 支持流程定时触发。 自带一个Web Console,提供了流程查看、流程监控、日志查看等功能。 父主题: Oozie应用开发概述
-
创建HBase全局二级索引 - MapReduce服务 MRS
在已有存量数据的表上创建全局二级索引,需要创建索引预分区,防止索引表出现热点,索引表数据的rowkey由索引列构成,并且包含分隔符,格式为“\x01索引值\x00”,因此预分区需要指定成对应格式,例如,当使用id列和age列作为索引列时,两个列均为整数,使用id列完成预分区,可以指定索引表预分区点为
-
Oozie应用开发应用开发简介 - MapReduce服务 MRS
Oozie主要特点: 支持分发、聚合、选择等工作流程模式。 与Hadoop生态系统各组件紧密结合。 流程变量支持参数化。 支持流程定时触发。 自带一个Web Console,提供了流程查看、流程监控、日志查看等功能。 父主题: Oozie应用开发概述
-
HetuEngine与其他组件的关系 - MapReduce服务 MRS
帮助系统避免单点故障,从而建立可靠的应用程序。 KrbServer 密钥的管理中心,负责票据的分发。 Yarn 资源管理系统,它是一个通用的资源模块,可以为各类应用程序进行资源管理和调度。 DBService 高可用性的关系型数据库存储系统,提供元数据的备份与恢复功能。
-
HBase冷热分离相关命令介绍 - MapReduce服务 MRS
如果要返回整行的数据,则必须在不指定HOT_ONLY或TimeRange参数的情况下执行查询,或者确保TimeRange指定的时间范围涵盖从插入行的时间点到最后更新行的时间点的时间段。因此,建议不要更新存储在冷存储中的数据。 随机查询Get。
-
Flink开发规范概述 - MapReduce服务 MRS
该规范中与开源社区不一致的点,以本文档为准。 参考资料 Flink开源社区开发文档:https://nightlies.apache.org/flink/flink-docs-stable/。 父主题: Flink应用开发规范
-
Alluxio - MapReduce服务 MRS
图1 Alluxio架构 优势: 提供内存级I/O吞吐率,同时降低具有弹性扩张特性的数据驱动型应用的成本开销 简化云存储和对象存储接入 简化数据管理,提供对多数据源的单点访问 应用程序部署简易 有关Alluxio的详细信息,请参见:https://docs.alluxio.io/os
-
MapReduce应用开发简介 - MapReduce服务 MRS
MapReduce主要特点如下: 大规模并行计算 适用于大型数据集 高容错性和高可靠性 合理的资源调度 父主题: MapReduce应用开发概述
-
HBase全局二级索引样例程序开发思路 - MapReduce服务 MRS
样例功能说明 样例重点介绍全局二级索引的创建、状态修改、删除、以及基于二级索引查询的实现。 父主题: HBase全局二级索引样例程序
-
修改备份任务 - MapReduce服务 MRS
在新页面中修改任务参数,支持修改的主要参数项如下: 开始时间 周期 目的端NameService名称 目的端NameNode IP地址 目的端路径 最大备份数 最大恢复点个数 最大map数 单个map的最大带宽 修改某个备份任务参数“目的端路径”后,第一次执行此任务默认为全量备份。
-
HBase全局二级索引样例程序开发思路 - MapReduce服务 MRS
样例功能说明 样例重点介绍全局二级索引的创建、状态修改、删除、以及基于二级索引查询的实现。 父主题: HBase全局二级索引样例程序
-
MRS 3.2.0-LTS.1版本说明 - MapReduce服务 MRS
MRS 3.2.0-LTS.1版本说明 发布日期 MRS 3.2.0-LTS.1 2023年4月28日 更新内容 服务模块 主要变更点 ClickHouse 升级到22.3.2.2版本。 ClickHouse支持多租户,通过CPU优先级和内存限额分配资源。
-
HBase操作请求次数指标中的多级图表统计如何理解? - MapReduce服务 MRS
单击表格中某一统计点,即可进入二级图表,表示该时刻前5分钟内统计的所有RegionServer的操作请求数。 再单击某一个操作统计柱状图即可进入三级图表,表示该时间段内各个Region相应操作的分布情况。
-
Spark On Hudi性能调优 - MapReduce服务 MRS
示例: 业务经常使用主键id作为查询条件,执行点查;比如select xxx where id = idx ... 。
-
Impala应用开发简介 - MapReduce服务 MRS
Impala主要特点如下: 支持Hive查询语言(HiveQL)中大多数的SQL-92功能,包括 SELECT,JOIN和聚合函数。
-
Flink应用开发常用概念 - MapReduce服务 MRS
该机制可以保证应用在运行过程中出现失败时,应用的所有状态能够从某一个检查点恢复,保证数据仅被处理一次(Exactly Once)。 SavePoint Savepoint是指允许用户在持久化存储中保存某个checkpoint,以便用户可以暂停自己的任务进行升级。