-
ClickHouse参数调优实践 - MapReduce服务 MRS
10G 50GB 否(新版本可通过多租户方式配置) max_bytes_before_external_group_by 确定了在GROUP BY中启动将临时数据转存到磁盘上的内存阈值。默认值为0表示这项功能将被禁用。一般:设置为max_memory_usage/2。
-
优化数据倾斜场景下的Spark SQL性能 - MapReduce服务 MRS
未产生倾斜的数据,将采用原有方式进行分桶并运行。 使用约束: 只支持两表Join的场景。 不支持FULL OUTER JOIN的数据倾斜处理。 示例:执行下面SQL语句,a表倾斜或b表倾斜都无法触发该优化。
-
MapReduce REST API接口介绍 - MapReduce服务 MRS
与HTTP服务访问相比,以HTTPS方式访问Mapreduce时,由于使用了SSL安全加密,需要确保Curl命令所支持的SSL协议在集群中已添加支持。若不支持,可对应修改集群中SSL协议。
-
在Hue WebUI使用SparkSql编辑器 - MapReduce服务 MRS
查看快捷键: 单击右上角的,可查看语法和键盘快捷方式信息。
-
配置ResourceManager重启后自动加载Container信息 - MapReduce服务 MRS
true yarn.resourcemanager.state-store.async.load 对已完成的application采用ResourceManager异步恢复方式。
-
添加HBase数据源 - MapReduce服务 MRS
批量GET查询 批量GET即在HBase的API中将所要查询的多个Row Key封装成一个List<Get>,然后请求这个列表以获取数据的查询方式。该方式能避免每个Row Key都发起一次请求。
-
通过Spark Streaming作业消费Kafka数据 - MapReduce服务 MRS
当前Spark支持两种数据处理方式:Direct Streaming和Receiver。 Direct Streaming方式主要通过采用Direct API对数据进行处理。
-
产品优势 - MapReduce服务 MRS
区别于管理控制台独立操控、配置云产品的方式,企业管理控制台以面向企业资源管理为出发点,帮助企业以公司、部门、项目等分级管理方式实现企业云上的人员、资源、权限、财务的管理。
-
使用客户端运行Loader作业 - MapReduce服务 MRS
authentication.user 普通模式或者使用密码认证方式时,登录使用的用户。 keytab登录方式,则不需要设置该参数。 authentication.password 安全模式中如果不使用keytab认证,配置访问Loader服务的用户密码加密字符串。
-
配置Hive业务使用其他组件的用户权限 - MapReduce服务 MRS
MRS 3.x之前版本,Hive over HBase授权 用户如果需要使用类似SQL语句的方式来操作HBase表,授予权限后可以在Hive中使用HQL命令访问HBase表。
-
在Linux环境中调测Spark应用 - MapReduce服务 MRS
查看调测结果 Spark应用程序运行完成后,可通过如下方式查看应用程序的运行情况。 通过运行结果数据查看应用程序运行情况。 结果数据存储路径和格式已经由Spark应用程序指定,可通过指定文件获取。 登录Spark WebUI查看应用程序运行情况。
-
Spark从HBase读取数据再写入HBase样例程序开发思路 - MapReduce服务 MRS
com.huawei.bigdata.spark.examples.SparkHbasetoHbase --master yarn --deploy-mode client /opt/female/SparkHbasetoHbase-1.0.jar 运行Python样例程序 由于pyspark不提供Hbase相关api,本样例使用Python调用Java的方式实现
-
ALM-16001 Hive数据仓库空间使用率超过阈值 - MapReduce服务 MRS
MRS集群管理员可通过增加仓库容量或释放部分已使用空间的方式降低仓库空间使用率。 告警属性 告警ID 告警级别 是否自动清除 16001 次要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。
-
优化数据倾斜场景下的Spark SQL性能 - MapReduce服务 MRS
未产生倾斜的数据,将采用原有方式进行分桶并运行。 使用约束: 只支持两表Join的场景。 不支持FULL OUTER JOIN的数据倾斜处理。 示例:执行下面SQL语句,a表倾斜或b表倾斜都无法触发该优化。
-
准备Spark连接集群配置文件 - MapReduce服务 MRS
如果当前节点与MRS集群所在网络平面不互通,可以通过绑定EIP的方式访问MRS集群。 Windows本地hosts文件存放路径举例:“C:\WINDOWS\system32\drivers\etc\hosts”。 场景二:准备Linux环境运行程序所需配置文件。
-
通过Hue执行SparkSQL - MapReduce服务 MRS
查看快捷键: 单击右上角的,可查看语法和键盘快捷方式信息。
-
在Linux环境中调测Spark应用 - MapReduce服务 MRS
查看调测结果 Spark应用程序运行完成后,可通过如下方式查看应用程序的运行情况。 通过运行结果数据查看应用程序运行情况。 结果数据存储路径和格式已经由Spark应用程序指定,可通过指定文件获取。 登录Spark WebUI查看应用程序运行情况。
-
Spark Structured Streaming状态操作样例程序开发思路 - MapReduce服务 MRS
<subscribe-type> 指定kakfa的消费方式。 <topic>指要消费的kafka topic。 <checkpointLocation> 指spark任务的checkpoint保存HDFS路径下。
-
Flink故障排除 - MapReduce服务 MRS
Flink整个系统有两种认证方式: 使用kerberos认证:Flink yarn client、Yarn Resource Manager、JobManager、HDFS、TaskManager、Kafka和Zookeeper。
-
备份CDL数据 - MapReduce服务 MRS
其他备份方式不需要准备备集群。 如果主集群部署为安全模式,且主备集群不是由同一个FusionInsight Manager管理,则必须配置系统互信,请参见配置跨Manager集群互信。如果主集群部署为普通模式,则不需要配置互信。