-
HBase操作请求次数指标中的多级图表统计如何理解? - MapReduce服务 MRS
单击表格中某一统计点,即可进入二级图表,表示该时刻前5分钟内统计的所有RegionServer的操作请求数。 再单击某一个操作统计柱状图即可进入三级图表,表示该时间段内各个Region相应操作的分布情况。
-
Flink应用开发常用概念 - MapReduce服务 MRS
该机制可以保证应用在运行过程中出现失败时,应用的所有状态能够从某一个检查点恢复,保证数据仅被处理一次(Exactly Once)。 SavePoint Savepoint是指允许用户在持久化存储中保存某个checkpoint,以便用户可以暂停自己的任务进行升级。
-
Impala应用开发简介 - MapReduce服务 MRS
Impala主要特点如下: 支持Hive查询语言(HiveQL)中大多数的SQL-92功能,包括 SELECT,JOIN和聚合函数。
-
Impala应用开发简介 - MapReduce服务 MRS
Impala主要特点如下: 支持Hive查询语言(HiveQL)中大多数的SQL-92功能,包括SELECT,JOIN和聚合函数。
-
创建HBase全局二级索引 - MapReduce服务 MRS
indexspecs.splitkeys.to.set(可选):表示索引表预分区切分点,建议指定,避免索引表Region成为热点。预分区指定格式为: '#'用于分隔索引。 splitkey包含在'[]'中。 ','用于分隔splitkey。
-
Impala应用开发简介 - MapReduce服务 MRS
Impala主要特点如下: 支持Hive查询语言(HiveQL)中大多数的SQL-92功能,包括 SELECT,JOIN和聚合函数。
-
Spark On Hudi性能调优 - MapReduce服务 MRS
示例: 业务经常使用主键id作为查询条件,执行点查;比如select xxx where id = idx ... 。
-
Teradata函数 - MapReduce服务 MRS
; : 忽略标点符号 dd 一个月中的第几日(1-31) hh 一天中的第几个小时(1-12) hh24 一天中的第几个小时(0-23) mi 分钟(0-59) mm 月份(01-12) ss 秒(0-59) yyyy 四位年份 yy 两位年份 当前不支持不区分大小写。
-
身份认证与访问控制 - MapReduce服务 MRS
基于角色的权限控制 MRS基于用户和角色的认证统一体系,遵从账户/角色RBAC(Role-Based Access Control)模型,实现通过角色进行权限管理,对用户进行批量授权管理,同时提供单点登录能力,统一了系统用户和组件用户的管理及认证。
-
CLEANARCHIVE - MapReduce服务 MRS
KEEP_ARCHIVED_FILES_BY_SIZE策略可以设置归档文件占用的存储空间大小 KEEP_ARCHIVED_FILES_BY_DAYS策略可以清理超过某个时间点之外的归档文件 hoodie.archive.file.cleaner.size.retained 当清理策略为
-
配置Syslog北向参数 - MapReduce服务 MRS
标识符可以包含字母、数字、下划线、 空格、|、 $、 {、 }、 点、中划线,并且不能超过256个字符。 报告信息 报文格式 设置告警报告的消息格式,具体要求请参考界面帮助。
-
Oozie应用开发简介 - MapReduce服务 MRS
Oozie主要特点: 支持分发、聚合、选择等工作流程模式。 与Hadoop生态系统各组件紧密结合。 流程变量支持参数化。 支持流程定时触发。 自带一个Web Console,提供了流程查看、流程监控、日志查看等功能。
-
访问Presto的WebUI - MapReduce服务 MRS
图2 Presto WebUI 第一次访问Presto WebUI,需要在浏览器中添加站点信任以继续打开页面。 方法三(适用于MRS 1.9.2及之后版本): 在集群列表页面,单击集群名称,登录集群详情页面,选择“组件管理”。
-
Oozie应用开发简介 - MapReduce服务 MRS
Oozie主要特点: 支持分发、聚合、选择等工作流程模式。 与Hadoop生态系统各组件紧密结合。 流程变量支持参数化。 支持流程定时触发。 自带一个Web Console,提供了流程查看、流程监控、日志查看等功能。
-
IoTDB性能调优 - MapReduce服务 MRS
查询场景调优举例:如果查询的范围比较大,单个序列10000个点以上,JVM分配内存的20% / 序列数 > 160K,即为默认配置下存储引擎对查询最友好的状态。
-
MRS各组件样例工程汇总 - MapReduce服务 MRS
SparkThriftServerScalaExample StructuredStreamingADScalaExample 使用Structured Streaming,从kafka中读取广告请求数据、广告展示数据、广告点击数据,实时获取广告有效展示统计数据和广告有效点击统计数据
-
MapReduce与其他组件的关系 - MapReduce服务 MRS
该框架在扩展性、容错性(JobTracker单点)和多框架支持(仅支持MapReduce一种计算框架)等方面存在不足。
-
HBase占用网络端口,连接数过大会导致其他服务不稳定 - MapReduce服务 MRS
如果compact无法解决HBase端口占用现象,说明HBase使用情况已经达到瓶颈,需考虑如下几点: table的Region数初始设置是否合适。 是否存在无用数据。 若存在无用数据,可删除对应数据以减小HBase存储文件数量,若以上情况都不满足,则需考虑扩容。
-
设计DAG - MapReduce服务 MRS
实现1逻辑的缺点 : 逻辑复杂 实现过程中shuffle操作过多,对性能影响较大。
-
Spark DAG设计规范说明 - MapReduce服务 MRS
实现1逻辑的缺点 : 逻辑复杂 实现过程中shuffle操作过多,对性能影响较大。