-
Hive常用常用配置参数 - MapReduce服务 MRS
true hive.metastore.server.min.threads MetaStore启动的用于处理连接的线程数,如果超过设置的值之后,MetaStore就会一直维护不低于设定值的线程数,即常驻MetaStore线程池的线程会维护在指定值之上。
-
LIMIT | FETCH FIRST - MapReduce服务 MRS
LIMIT | FETCH FIRST LIMIT和FETCH FIRST都可以限制结果集中的行数。Limit和offset可以配合使用进行分页查询。
-
使用Loader从HDFS/OBS导出数据到SFTP服务器 - MapReduce服务 MRS
FILE Map数 配置数据操作的MapReduce任务中同时启动的Map数量。不可与“Map数据块大小”同时配置。参数值必须小于或等于3000,建议以SFTP服务器的CPU的核数作为其取值。
-
使用Loader从HDFS/OBS导入数据到HBase - MapReduce服务 MRS
true Map数 配置数据操作的MapReduce任务中同时启动的map数量。参数值必须小于或等于3000。 20 Map数据块大小 HBase不支持此参数,请配置“Map数”。
-
ALM-44004 Presto Coordinator资源组排队任务超过阈值(2.x及以前版本) - MapReduce服务 MRS
ALM-44004 Presto Coordinator资源组排队任务超过阈值(2.x及以前版本) 告警解释 系统通过jmx接口查询资源组的排队任务数即QueuedQueries指标,当检测到资源组排队数大于阈值时产生该告警。
-
Flink任务开发建议 - MapReduce服务 MRS
如果设置Checkpoint保存数为2,即使最新的Checkpoint恢复失败,那么Flink会回滚到之前那一次Checkpoint的状态文件进行恢复。所以可以增加Checkpoint保存数。
-
ALM-44004 Presto Coordinator资源组排队任务超过阈值 - MapReduce服务 MRS
ALM-44004 Presto Coordinator资源组排队任务超过阈值 告警解释 系统通过jmx接口查询资源组的排队任务数即QueuedQueries指标,当检测到资源组排队数大于阈值时产生该告警。
-
使用CDM服务迁移MySQL数据至MRS Hive - MapReduce服务 MRS
抽取并发数:设置同时执行的抽取任务数。这里保持默认值“1”。 是否写入脏数据:如果需要将作业执行过程中处理失败的数据、或者被清洗过滤掉的数据写入OBS中,以便后面查看,可通过该参数配置,写入脏数据前需要先配置好OBS连接。这里保持默认值“否”即可,不记录脏数据。
-
ALM-19011 RegionServer的Region数量超出阈值 - MapReduce服务 MRS
ALM-19011 RegionServer的Region数量超出阈值 告警解释 系统每30秒周期性检测每个HBase服务实例中每个RegionServer的Region数。
-
管理全局用户策略 - MapReduce服务 MRS
管理全局用户策略 操作场景 如果租户配置使用Superior调度器,那么系统可以控制具体用户使用资源调度器的行为,包含: 最大运行任务数 最大挂起任务数 默认队列 操作步骤 添加策略 在FusionInsight Manager,单击“租户资源”。 单击“动态资源计划”页签。
-
基于分区的任务黑名单异常如何处理 - MapReduce服务 MRS
回答 当集群中有超过阈值的节点都被加入黑名单时,黑名单会释放这些节点,其中阈值为故障节点数与集群总节点数的比值。现在每个节点都有其标签表达式,黑名单阈值应根据有效节点标签表达式关联的节点数进行计算,其值为故障节点数与有效节点标签表达式关联的节点数的比值。
-
ntpdate修改时间导致HDFS出现大量丢块 - MapReduce服务 MRS
图1 块丢失 查看原生页面Datanode Information发现显示的DataNode节点数和实际的相差10个节点。
-
基于分区的任务黑名单异常如何处理 - MapReduce服务 MRS
回答 当集群中有超过阈值的节点都被加入黑名单时,黑名单会释放这些节点,其中阈值为故障节点数与集群总节点数的比值。现在每个节点都有其标签表达式,黑名单阈值应根据有效节点标签表达式关联的节点数进行计算,其值为故障节点数与有效节点标签表达式关联的节点数的比值。
-
HBase健康检查指标项说明 - MapReduce服务 MRS
HBase健康检查指标项说明 运行良好的RegionServer数 指标项名称:运行良好的RegionServer数 指标项含义:检查HBase集群中运行良好的RegionServer数。
-
Flink SQL逻辑开发规则 - MapReduce服务 MRS
【示例】lookup join维表数5个: CREATE TABLE table1(id int, param1 string) with(...); CREATE TABLE table2(id int, param2 string) with(...); CREATE TABLE
-
ClickHouse概述 - MapReduce服务 MRS
Float64 双精度浮点数 同C语言Double类型,双精度浮点数在机内占8个字节,用64位二进制描述。 Decimal类型 Decimal Decimal 有符号的定点数,可在加、减和乘法运算过程中保持精度。
-
Kafka业务规格说明 - MapReduce服务 MRS
支持的Topic上限 支持Topic的个数,受限于进程整体打开的文件句柄数(现场环境一般主要是数据文件和索引文件占用比较多)。
-
配置SparkSQL的分块个数 - MapReduce服务 MRS
配置SparkSQL的分块个数 配置场景 SparkSQL在进行shuffle操作时默认的分块数为200。在数据量特别大的场景下,使用默认的分块数就会造成单个数据块过大。
-
Kafka业务规格说明 - MapReduce服务 MRS
支持的Topic上限 支持Topic的个数,受限于进程整体打开的文件句柄数(现场环境一般主要是数据文件和索引文件占用比较多)。
-
配置SparkSQL的分块个数 - MapReduce服务 MRS
配置SparkSQL的分块个数 配置场景 SparkSQL在进行shuffle操作时默认的分块数为200。在数据量特别大的场景下,使用默认的分块数就会造成单个数据块过大。