-
使用Kafka客户端 - MapReduce服务 MRS
Kafka创建Topic支持 “--zookeeper” 和 “--bootstrap-server”两种方式,区别如下: “--zookeeper”方式由客户端生成副本分配方案,社区从一开始就支持这种方式,为了降低对Zookeeper组件的依赖,社区将在后续版本中删除对这种方式的支持
-
Flink DataStream Java样例代码 - MapReduce服务 MRS
elems.length == 3; return new UserRecord(elems[0], elems[1], Integer.parseInt(elems[2])); } // UserRecord数据结构的定义,并重写了toString打印方法
-
集群添加组件 - MapReduce服务 MRS
获取方法,请参见获取项目ID。 cluster_id 是 String 集群ID。获取方法,请参见获取集群ID。
-
Hudi Compaction操作说明 - MapReduce服务 MRS
使用Compaction的方式分为同步和异步两种: 同步方式由参数hoodie.compact.inline控制,默认为true,自动生成compaction调度计划并执行compaction: 关闭同步compaction datasource写入时可以通过 .option("hoodie.compact.inline
-
Hudi Compaction操作说明 - MapReduce服务 MRS
使用Compaction的方式分为同步和异步两种: 同步方式由参数hoodie.compact.inline控制,默认为true,自动生成compaction调度计划并执行compaction: 关闭同步compaction datasource写入时可以通过 .option("hoodie.compact.inline
-
Kafka客户端使用实践 - MapReduce服务 MRS
Kafka创建Topic支持 “--zookeeper” 和 “--bootstrap-server”两种方式,区别如下: “--zookeeper”方式由客户端生成副本分配方案,社区从一开始就支持这种方式,为了降低对Zookeeper组件的依赖,社区将在后续版本中删除对这种方式的支持
-
为什么主NameNode重启后系统出现双备现象 - MapReduce服务 MRS
解决方法 建议通过在FusionInsight Manager界面上重启HDFS的两个ZKFC加以解决。 父主题: HDFS常见问题
-
如何避免Kerberos认证过期? - MapReduce服务 MRS
"); } 对于Shell客户端方式执行的任务 先执行kinit命令认证用户。 通过操作系统定时任务或者其他定时任务方式定时执行kinit命令认证用户。 提交作业执行大数据任务。
-
配置弹性伸缩规则 - MapReduce服务 MRS
获取方法,请参见获取项目ID。 cluster_id 是 String 集群ID。获取方法,请参见获取集群ID。 请求参数 表2 请求Body参数 参数 是否必选 参数类型 描述 node_group 是 String 弹性伸缩规则适用的节点类型,当前只支持task节点。
-
添加HDFS的Ranger访问权限策略 - MapReduce服务 MRS
Deny Conditions 策略拒绝条件,配置本策略内拒绝的权限及例外,配置方法与“Allow Conditions”类似,拒绝条件的优先级高于“Allow Conditions”中配置的允许条件。
-
为什么主NameNode重启后系统出现双备现象 - MapReduce服务 MRS
解决方法 建议通过在FusionInsight Manager界面上重启HDFS的两个ZKFC加以解决。 父主题: HDFS常见问题
-
优化Flink Netty网络通信参数 - MapReduce服务 MRS
“taskmanager.network.netty.transport”:默认为“nio”方式,表示netty的传输方式,有“nio”和“epoll”两种方式。 父主题: Flink性能调优
-
优化Flink Netty网络通信参数 - MapReduce服务 MRS
“taskmanager.network.netty.transport”:默认为“nio”方式,表示netty的传输方式,有“nio”和“epoll”两种方式。 父主题: Flink性能调优
-
使用CDM服务迁移MySQL数据至MRS Hive - MapReduce服务 MRS
对庞大的数据集查询需要耗费大量的时间去处理,在许多场景下,可以通过建立Hive分区方法减少每一次扫描的总数据量,这种做法可以显著地改善性能。 Hive的分区使用HDFS的子目录功能实现,每一个子目录包含了分区对应的列名和每一列的值。
-
ALM-12033 慢盘故障 - MapReduce服务 MRS
svctm的获取方法请参见参考信息。
-
配置HDFS DataNode数据均衡 - MapReduce服务 MRS
具体参数使用方法,可通过命令行查看。
-
配置HDFS DataNode数据均衡 - MapReduce服务 MRS
具体参数使用方法,可通过命令行查看。
-
配置Hadoop数据传输加密 - MapReduce服务 MRS
对RPC的加密方式,有如下三种取值: “authentication”:普通模式默认值,指数据在鉴权后直接传输,不加密。这种方式能保证性能但存在安全风险。 “integrity”:指数据直接传输,即不加密也不鉴权。 为保证数据安全,请谨慎使用这种方式。
-
MRS 1.9.2.3及之后版本补丁说明 - MapReduce服务 MRS
自行搭建的客户端全量安装方法,请参见安装客户端(3.x之前版本)。 重新安装客户端前建议先对老客户端进行备份。 若用户根据业务场景修改过客户端配置,请在重装客户端后再次修改客户端配置。 父主题: MRS补丁说明
-
ClickHouse分布式表设计 - MapReduce服务 MRS
如轮训方式:rand(),表示在写入数据时直接将数据插入到分布式表,分布式表引擎会按轮训算法将数据发送到各个分片。 该键是写分布式表保证数据均匀分布在各分片的唯一方式。 规则 不建议写分布式表。