-
ALM-12100 AD服务器连接异常 - MapReduce服务 MRS
在登录的主机节点上ping第三方AD服务器IP,确认是否能ping通第三方AD服务器。 是,执行7。 否,执行8。 执行以下命令查看是否能连通第三方AD服务。 telnet IP port 其中IP为第三方AD服务器IP地址,port为第三方AD服务器使用端口。 是,执行8。 否,联系运维人员检查网络。
-
在IDEA中提交Storm拓扑 - MapReduce服务 MRS
1、命令行方式提交,这种需要将应用程序jar包复制到客户端机器上执行客户端命令提交 * 2、远程方式提交,这种需要将应用程序的jar包打包好之后在IntelliJ IDEA中运行main方法提交 * 3、本地提交 ,在本地执行应用程序,一般用来测试
-
如何避免对历史数据进行minor compaction? - MapReduce服务 MRS
1024)”。其中,491520可配置。 运行major compaction。由于每个segment的大小超过配置值的大小,因此这些segments将会被压缩。 加载增量负载。 配置minor compaction参数的阈值:“compaction.level.threshold” = “6,6”。 运行minor
-
配置NFS服务器存储NameNode元数据 - MapReduce服务 MRS
在NameNode备节点上执行2~4。 主备NameNode节点在NFS服务器上创建的共享目录名称(如“/opt/Hadoop/NameNode”)不能相同。 登录FusionInsight Manager系统,选择“集群 > 待操作集群的名称 > 服务 > HDFS > 配置 >
-
在IDEA中提交Storm拓扑 - MapReduce服务 MRS
1、命令行方式提交,这种需要将应用程序jar包复制到客户端机器上执行客户端命令提交 * 2、远程方式提交,这种需要将应用程序的jar包打包好之后在IntelliJ IDEA中运行main方法提交 * 3、本地提交 ,在本地执行应用程序,一般用来测试
-
典型场景:从SFTP服务器导入数据到HBase - MapReduce服务 MRS
在HBase作业中,Loader支持从集群可添加的所有HBase服务实例中选择任意一个。如果选定的HBase服务实例在集群中未添加,则此作业无法正常运行。 HBase 导入前清理数据 导入前清空原表的数据。“true”为执行清空,“false”为不执行。不配置此参数则默认不执行清空。 true Map数 配置数
-
典型场景:从FTP服务器导入数据到HBase - MapReduce服务 MRS
在HBase作业中,Loader支持从集群可添加的所有HBase服务实例中选择任意一个。如果选定的HBase服务实例在集群中未添加,则此作业无法正常运行。 HBase 导入前清理数据 导入前清空原表的数据。“True”为执行清空,“False”为不执行。不配置此参数则默认不执行清空。 true Map数 配置数
-
如何对insert overwrite自读自写场景进行优化 - MapReduce服务 MRS
如何对insert overwrite自读自写场景进行优化 场景说明 对于需要使用动态分区插入(使用历史分区更新)数据到目的表中,且和数据源表是同一张表时,由于直接在原表上执行insert overwrite可能会导致数据丢失或数据不一致的风险,建议先使用一个临时表来处理数据,再执行insert
-
典型场景:从Hive导出数据到SFTP服务器 - MapReduce服务 MRS
在Hive作业中,Loader支持从集群可添加的所有Hive服务实例中选择任意一个。如果选定的Hive服务实例在集群中未添加,则此作业无法正常运行。 hive 个数 配置数据操作的MapReduce任务中同时启动的map数量。参数值必须小于或等于3000,建议以SFTP服务器当前最大连接数作为其取值。 20
-
如何对insert overwrite自读自写场景进行优化 - MapReduce服务 MRS
如何对insert overwrite自读自写场景进行优化 场景说明 对于需要使用动态分区插入(使用历史分区更新)数据到目的表中,且和数据源表是同一张表时,由于直接在原表上执行insert overwrite可能会导致数据丢失或数据不一致的风险,建议先使用一个临时表来处理数据,再执行insert
-
典型场景:从HBase导出数据到SFTP服务器 - MapReduce服务 MRS
在HBase作业中,Loader支持从集群可添加的所有HBase服务实例中选择任意一个。如果选定的HBase服务实例在集群中未添加,则此作业无法正常运行。 HBase 个数 配置数据操作的MapReduce任务中同时启动的map数量。参数值必须小于或等于3000,建议以SFTP服务器当前最大连接数作为其取值。 20
-
典型场景:从SFTP服务器导入数据到HDFS/OBS - MapReduce服务 MRS
获取SFTP服务器使用的用户和密码,且该用户具备SFTP服务器上源文件的读取权限。若源文件在导入后文件名要增加后缀,则该用户还需具备源文件的写入权限。 检查磁盘空间,确保没有出现告警且余量满足导入、导出数据的大小。 使用Loader从SFTP服务器导入数据时,确保SFTP服务器输入路径
-
典型场景:从HDFS/OBS导出数据到SFTP服务器 - MapReduce服务 MRS
值必须小于或等于3000,建议以SFTP服务器的CPU的核数作为其取值。 说明: 为了提高导入数据速度,需要确保以下条件: 每个Map连接时,相当于一个客户端连接,因此需要确保SFTP服务器最大连接数大于Map数量。 确保SFTP服务器上的磁盘IO或网络带宽都未达到上限。 20 Map数据块大小
-
使用Loader从SFTP服务器导入数据到Hive - MapReduce服务 MRS
获取SFTP服务器使用的用户和密码,且该用户具备SFTP服务器上源文件的读取权限。如果源文件在导入后文件名要增加后缀,则该用户还需具备源文件的写入权限。 检查磁盘空间,确保没有出现告警且余量满足导入、导出数据的大小。 使用Loader从SFTP服务器导入数据时,确保SFTP服务器输入路径目录名、输入路径的子目录名及子文件名不能包含特殊字符/\"':;
-
使用Loader从SFTP服务器导入数据到HBase - MapReduce服务 MRS
在HBase作业中,Loader支持从集群可添加的所有HBase服务实例中选择任意一个。如果选定的HBase服务实例在集群中未添加,则此作业无法正常运行。 HBase 导入前清理数据 导入前清空原表的数据。“true”为执行清空,“false”为不执行。不配置此参数则默认不执行清空。 true Map数 配置数
-
使用Loader从FTP服务器导入数据到HBase - MapReduce服务 MRS
在HBase作业中,Loader支持从集群可添加的所有HBase服务实例中选择任意一个。如果选定的HBase服务实例在集群中未添加,则此作业无法正常运行。 HBase 导入前清理数据 导入前清空原表的数据。“True”为执行清空,“False”为不执行。不配置此参数则默认不执行清空。 true Map数 配置数
-
ALM-12057 元数据未配置周期备份到第三方服务器的任务 - MapReduce服务 MRS
产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 如果没有将元数据备份到第三方服务器,当集群主备管理节点同时故障且本地备份数据丢失时,导致元数据无法恢复。 可能原因 元数据未配置周期备份到第三方服务器任务。 处理步骤
-
建立Hive表分区提升查询效率 - MapReduce服务 MRS
bigdata_env命令,配置客户端环境变量。 在客户端中执行如下命令,执行登录操作。 kinit 用户名 执行以下命令登录客户端工具。 beeline 指定静态分区或者动态分区。 静态分区: 静态分区是手动输入分区名称,在创建表时使用关键字PARTITIONED BY指定分区列名及数据类型。应用开发时,使用ALTER
-
使用Loader从Hive导出数据到SFTP服务器 - MapReduce服务 MRS
在Hive作业中,Loader支持从集群可添加的所有Hive服务实例中选择任意一个。如果选定的Hive服务实例在集群中未添加,则此作业无法正常运行。 hive 个数 配置数据操作的MapReduce任务中同时启动的map数量。参数值必须小于或等于3000,建议以SFTP服务器当前最大连接数作为其取值。 20
-
如何使用PySpark连接MRS Spark? - MapReduce服务 MRS
如何使用PySpark连接MRS Spark? 问:如何在ECS服务器上用PySpark连接内网开启Kerberos认证的MRS Spark集群? 答:将Spark的“spark-defaults.conf”文件中“spark.yarn.security.credentials.hbase