-
MRS 3.1.0版本补丁说明 - MapReduce服务 MRS
打印日志将磁盘打满导致Yarn不可用的问题 解决Flink客户端ssl证书过期导致Flink任务提交失败问题 解决Flink写Hbase,获取的Hbase Connect7天超期,报Token has expired问题 解决Flink不支持对taskmanager.out文件进行log4j管控的问题
-
Flume业务模型配置说明 - MapReduce服务 MRS
高可靠性场景。 Load Balancing:表示在Sink Group中所有Sink都处于活跃状态,每个Sink都会从Channel中去获取数据并进行处理,并且保证在运行过程中该Sink Group的所有Sink的负载是均衡的,多用于性能提升场景。 Load Balancing配置样例:
-
HBase本地二级索引介绍 - MapReduce服务 MRS
值的数据:所有数据按RowKey的顺序进行扫描,然后将数据与特定的列值进行匹配,直到找到所需的数据。过滤器功能会scan一些不必要的数据以获取所需的数据。基于前面的描述,Filter功能不能满足高性能标准频繁查询的要求。 这就是HBase HIndex产生的背景。如图1所示,HBase
-
Spark HA方案介绍 - MapReduce服务 MRS
er;如果没有,则以YARN-Cluster模式启动一个新的JDBCServer。JDBCServer启动成功后,ProxyServer会获取JDBCServer的地址,并将Beeline连上JDBCServer。 客户端发送SQL语句给ProxyServer,ProxyServ
-
开源sqoop-shell工具使用示例(SFTP - HDFS) - MapReduce服务 MRS
/opt/client/Loader/loader-tools-1.99.3/sqoop-shell ./sqoop2-shell 上述命令通过读取配置文件获取认证信息。 也可以直接通过密码或者Kerberos认证。 使用密码进行认证: ./sqoop2-shell -uk false -u username
-
开源sqoop-shell工具使用示例(Oracle - HBase) - MapReduce服务 MRS
/opt/client/Loader/loader-tools-1.99.3/sqoop-shell ./sqoop2-shell 上述命令通过读取配置文件获取认证信息。 也可以直接通过密码或者Kerberos认证。 使用密码进行认证: ./sqoop2-shell -uk false -u username
-
HBase本地二级索引介绍 - MapReduce服务 MRS
值的数据:所有数据按RowKey的顺序进行扫描,然后将数据与特定的列值进行匹配,直到找到所需的数据。过滤器功能会scan一些不必要的数据以获取所需的数据。基于前面的描述,Filter功能不能满足高性能标准频繁查询的要求。 这就是HBase HIndex产生的背景。如图1所示,HBase
-
编译并调测Flink应用 - MapReduce服务 MRS
idea terminal输入"mvn clean install" 编译完成,打印“BUILD SUCCESS”,生成target目录,获取target目录下的jar包。 图4 编译完成 将3中生成的Jar包(如FlinkStreamJavaExample.jar复制到Flin
-
开源sqoop-shell工具使用示例(SFTP - HDFS) - MapReduce服务 MRS
/opt/client/Loader/loader-tools-1.99.3/sqoop-shell ./sqoop2-shell 上述命令通过读取配置文件获取认证信息。 也可以直接通过密码或者Kerberos认证。 使用密码进行认证: ./sqoop2-shell -uk false -u username
-
开源sqoop-shell工具使用示例(Oracle - HBase) - MapReduce服务 MRS
/opt/client/Loader/loader-tools-1.99.3/sqoop-shell ./sqoop2-shell 上述命令通过读取配置文件获取认证信息。 也可以直接通过密码或者Kerberos认证。 使用密码进行认证: ./sqoop2-shell -uk false -u username
-
配置HBase主备集群容灾 - MapReduce服务 MRS
表普通写数据与Bulkload批量写数据场景下的容灾。 本章节适用于MRS 3.x及之后版本。 前提条件 主备集群都已经安装并启动成功,且获取集群的管理员权限。 必须保证主备集群间的网络畅通和端口的使用。 如果主集群部署为安全模式且不由一个FusionInsight Manage
-
新增并执行作业 - MapReduce服务 MRS
路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目编号。获取方法,请参见获取项目ID。 cluster_id 是 String 集群ID。获取方法,请参见获取集群ID。 请求参数 表2 请求Body参数 参数 是否必选 参数类型 描述 job_type
-
Flume业务配置指南 - MapReduce服务 MRS
flume-channel channel用来缓存数据的topic。 kafka.consumer.group.id flume 从kafka中获取数据的组标识,此参数不能为空。 parseAsFlumeEvent true 是否解析为Flume event。 migrateZookeeperOffsets
-
创建CDL数据同步任务作业 - MapReduce服务 MRS
With Hudi 是否对接Hudi。 是 DBZ Snapshot Locking Mode 任务启动执行快照时的锁模式。 minimal:仅在获取数据库schema和其他元数据时,持有全局读锁。 extend:在整个执行快照期间都持有全局读锁,阻塞全部写入操作。 none: 无锁模式
-
告警参考(适用于3.x版本) - MapReduce服务 MRS
ALM-12102 AZ高可用组件未按容灾需求部署 ALM-12103 executor资源异常 ALM-12104 knox资源异常 ALM-12110 获取ECS临时ak/sk失败 ALM-12172 指标上报CES失败 ALM-12180 磁盘卡IO ALM-12186 用户CGroup任务数使用率超过阈值
-
Spark2x基本原理 - MapReduce服务 MRS
数据处理模型类似于数据块处理模型,可以把静态数据库表的一些查询操作应用在流式计算中,Spark执行标准的SQL查询,从不断增加的无边界表中获取数据。 图8 Structured Streaming无边界表 每一条查询的操作都会产生一个结果集Result Table。每一个触发间隔
-
Flink常用配置参数 - MapReduce服务 MRS
任务。 JobManager Web Frontend: JobManager启动时,会在同一进程内启动Web服务器,访问Web服务器可以获取当前Flink集群的信息,包括JobManager,TaskManager及集群内运行的Job。Web服务器参数的配置项包括端口,临时目录,显示项目,错误重定向,安全相关等。
-
Flink常用配置参数 - MapReduce服务 MRS
任务。 JobManager Web Frontend: JobManager启动时,会在同一进程内启动Web服务器,访问Web服务器可以获取当前Flink集群的信息,包括JobManager,TaskManager及集群内运行的Job。Web服务器参数的配置项包括端口,临时目录,显示项目,错误重定向,安全相关等。
-
Spark基本原理 - MapReduce服务 MRS
数据处理模型类似于数据块处理模型,可以把静态数据库表的一些查询操作应用在流式计算中,Spark执行标准的SQL查询,从不断增加的无边界表中获取数据。 图8 Structured Streaming无边界表 每一条查询的操作都会产生一个结果集Result Table。每一个触发间隔