-
执行Spark Core应用,尝试收集大量数据到Driver端,当Driver端内存不足时,应用挂起不退出 - MapReduce服务 MRS
解决措施: 如果用户需要在OOM场景下强制将应用退出,那么可以在启动Spark Core应用时,在客户端配置文件“$SPARK_HOME/conf/spark-defaults.conf”中的配置项“spark.driver.extraJavaOptions”中添加如下内容: -XX
-
Spark JDBCServer接口介绍 - MapReduce服务 MRS
其中Keytab文件及principal信息请联系管理员获取,Beeline的连接样例如下所示: sh CLIENT_HOME/spark/bin/beeline -u "jdbc:hive2://<zkNode1_IP>:<zkNode1_Port>,<zkNode2_IP>:<
-
配置Spark SQL开启Adaptive Execution特性 - MapReduce服务 MRS
启动Adaptive Execution特性后,Spark SQL能自动处理数据倾斜场景,对倾斜的分区,启动多个task进行处理,每个task读取若干个shuffle输出文件,再对这部分任务的Join结果进行Union操作,以达到消除数据倾斜的效果 配置参数 登录FusionInsight
-
使用代理用户提交Spark作业 - MapReduce服务 MRS
参数名称 值 hadoop.proxyuser.test.hosts * hadoop.proxyuser.test.groups * 重启HDFS、Yarn、Spark、Hive服务,并更新客户端HDFS、Yarn、Spark、Hive配置文件。
-
配置Spark SQL开启Adaptive Execution特性 - MapReduce服务 MRS
启动Adaptive Execution特性后,Spark SQL能自动处理数据倾斜场景,对倾斜的分区,启动多个task进行处理,每个task读取部分shuffle输出文件,再对这部分任务的Join结果进行Union操作,以达到消除数据倾斜的效果 配置参数 登录FusionInsight
-
OpenTSDB CLI Tools介绍 - MapReduce服务 MRS
向OpenTSDB指标中导入数据 tsdb命令可以使用“tsdb import”命令批量导入指标数据,可执行如下命令: 准备指标数据,如包含如下内容的importData.txt文件。
-
MapReduce Java API接口介绍 - MapReduce服务 MRS
java通过class文件找到执行jar包,该jar包被上传到HDFS。 setJar(String jar) 指定执行类所在的jar包本地位置。直接设置执行jar包所在位置,该jar包被上传到HDFS。与setJarByClass(Class< > cls)选择使用一个。
-
Flume日志采集概述 - MapReduce服务 MRS
Flume客户端可以包含多个独立的数据流,即在一个配置文件properties.properties中配置多个Source、Channel、Sink。这些组件可以链接以形成多个流。
-
执行Spark Core应用,尝试收集大量数据到Driver端,当Driver端内存不足时,应用挂起不退出 - MapReduce服务 MRS
解决措施: 如果用户需要在OOM场景下强制将应用退出,那么可以在启动Spark Core应用时,在客户端配置文件“$SPARK_HOME/conf/spark-defaults.conf”中的配置项“spark.driver.extraJavaOptions”中添加如下内容: -XX
-
MapReduce Java API接口介绍 - MapReduce服务 MRS
java通过class文件找到执行jar包,该jar包被上传到HDFS。 setJar(String jar) 指定执行类所在的jar包本地位置。直接设置执行jar包所在位置,该jar包被上传到HDFS。与setJarByClass(Class< > cls)选择使用一个。
-
Spark JDBCServer接口介绍 - MapReduce服务 MRS
其中Keytab文件及principal信息请联系管理员获取,Beeline的连接样例如下所示: sh CLIENT_HOME/spark/bin/beeline -u "jdbc:hive2://<zkNode1_IP>:<zkNode1_Port>,<zkNode2_IP>:<
-
ClickHouse基本原理 - MapReduce服务 MRS
列式存储与数据压缩 ClickHouse是一款使用列式存储的数据库,数据按列进行组织,属于同一列的数据会被保存在一起,列与列之间也会由不同的文件分别保存。 在执行数据查询时,列式存储可以减少数据扫描范围和数据传输时的大小,提高了数据查询的效率。
-
Flume日志采集概述 - MapReduce服务 MRS
Flume客户端可以包含多个独立的数据流,即在一个配置文件properties.properties中配置多个Source、Channel、Sink。这些组件可以链接以形成多个流。
-
JobGateway常见参数 - MapReduce服务 MRS
如果请求主体大于缓冲区,则将整个主体或仅将其部分写入临时文件 【默认值】10240 【取值范围】大于0 client_body_timeout 定义读取客户端请求正文的超时时间。超时仅针对两次连续读取操作之间的一段时间设置,而不是针对整个请求主体的传输。
-
ALM-17003 Oozie服务不可用 - MapReduce服务 MRS
登录HDFS检查Oozie文件目录是否完整。 下载并安装HDFS客户端。 以root用户登录客户端所在节点,执行以下命令,检查“/user/oozie/share”路径是否存在,用户密码为安装前用户自定义,请咨询系统管理员。 如果集群采用安全版本,要进行安全认证。
-
Flink性能调优建议 - MapReduce服务 MRS
加载索引的并行度调整参数:write.index_bootstrap.tasks 采用状态索引写数据需要进行主键唯一性检查,分配具体写入文件,提升该算子并行度提升性能。
-
查询作业exe对象列表(废弃) - MapReduce服务 MRS
group_id String 作业执行组ID jar_path String 执行程序jar包或sql文件地址。 input String 数据输入地址。 output String 数据输出地址。
-
创建ClickHouse角色 - MapReduce服务 MRS
执行以下命令获取“clickhouse.keytab”文件路径。
-
Kafka基本原理 - MapReduce服务 MRS
每个分区是一个有序、不可变的消息序列,并不断追加到提交日志文件。分区的消息每个也被赋值一个称为偏移顺序(Offset)的序列化编号。 图1 Kafka结构 表1 Kafka结构图说明 名称 说明 Broker 在Kafka集群上一个服务器称为一个Broker。
-
快速使用Doris - MapReduce服务 MRS
`sex`) DISTRIBUTED BY HASH(`user_id`) BUCKETS 1 PROPERTIES ( "replication_allocation" = "tag.location.default: 1" ); 在当前节点的任意目录下创建“test.csv”文件