-
更新客户端(3.x之前版本) - MapReduce服务 MRS
方法二: 集群安装完成之后,执行以下命令切换到omm用户,若在集群外使用客户端,请切换到root用户。 sudo su - omm 执行以下命令切换客户端目录。
-
执行HDFS文件并发操作命令 - MapReduce服务 MRS
kinit 组件业务用户 增大客户端的JVM大小,防止OOM,方法如下。(1亿文件建议32G) 若执行HDFS客户端命令时,客户端程序异常退出,并且报“java.lang.OutOfMomeryError”错误。
-
执行HDFS文件并发操作命令 - MapReduce服务 MRS
kinit 组件业务用户 增大客户端的JVM大小,防止OOM,方法如下。(1亿文件建议32G) 如果执行HDFS客户端命令时,客户端程序异常退出,并且报“java.lang.OutOfMomeryError”错误。
-
Spark从Hive读取数据再写入HBase样例程序(Java) - MapReduce服务 MRS
Row> dataFrame = sqlContext.sql("select name, account from person"); // 遍历hive表中的每一个partition, 然后更新到hbase表 // 如果数据条数较少,也可以使用foreach()方法
-
为什么DataNode无法正常上报数据块 - MapReduce服务 MRS
按照如下方法将数据移动至新的数据目录。 mv /data1/datadir/current/finalized/subdir1 /data2/datadir/current/finalized/subdir1 重新启动HDFS。 父主题: HDFS常见问题
-
添加Storm的Ranger访问权限策略 - MapReduce服务 MRS
Deny Conditions 策略拒绝条件,配置本策略内拒绝的权限及例外,配置方法与“Allow Conditions”类似。 (可选)添加策略有效期。
-
Flink安全认证机制说明 - MapReduce服务 MRS
编码规范: 说明:Web Service客户端和服务器间使用相同的编码方式,是为了防止出现乱码现象,也是实施输入校验的基础。 安全加固:web server响应消息统一采用UTF-8字符编码。
-
在本地Windows中调测HDFS程序 - MapReduce服务 MRS
在本地Windows中调测HDFS程序 (可选)在开发环境中(例如IntelliJ IDEA中),运行此样例代码需要设置运行用户,设置运行用户有两种方式,添加环境变量HADOOP_USER_NAME或者修改代码。
-
Flink安全认证机制说明 - MapReduce服务 MRS
编码规范: 说明:Web Service客户端和服务器间使用相同的编码方式,是为了防止出现乱码现象,也是实施输入校验的基础。 安全加固:web server响应消息统一采用UTF-8字符编码。
-
MRS 2.1.0.11补丁说明 - MapReduce服务 MRS
自行搭建的客户端全量安装方法,请参见安装客户端(3.x之前版本)。 重新安装客户端前建议先对老客户端进行备份。 若您根据业务场景修改过客户端配置,请重装客户端后再次修改客户端配置。 (可选)支持MRS Manager页面以及组件原生页面超时时间可配置,需要手动修改如下配置。
-
用户账号一览表 - MapReduce服务 MRS
LDAP用户不支持登录与认证,无密码修改方法。
-
更新客户端(3.x之前版本) - MapReduce服务 MRS
方法二: 集群安装完成之后,执行以下命令切换到omm用户,若在集群外使用客户端,请切换到root用户。 sudo su - omm 执行以下命令切换客户端目录。
-
Geospatial函数 - MapReduce服务 MRS
WKB(well-known binary) 是WKT的二进制表示形式,解决了WKT表达方式冗余的问题,便于传输和在数据库中存储相同的信息。
-
同步Kafka数据至ClickHouse - MapReduce服务 MRS
ZooKeeper侦听客户端连接的端口获取方式:登录FusionInsight Manager,选择“集群 > 服务 > ZooKeeper”,在“配置”页签查看“clientPort”的值。默认为24002。
-
MRS 1.5.1.4补丁说明 - MapReduce服务 MRS
自行搭建的客户端全量安装方法,请参见安装客户端(3.x之前版本)。 重新安装客户端前建议先对老客户端进行备份。 若您根据业务场景修改过客户端配置,请重装客户端后再次修改客户端配置。 父主题: MRS补丁说明
-
安装使用集群外客户端时,连接集群端口失败 - MapReduce服务 MRS
解决方法 应用无法访问到SparkUI的IP:PORT。有以下可能: 查看集群节点与客户端节点是否通信: 查看客户端节点“/etc/hosts”文件中是否配置集群节点映射,在客户端节点执行命令: ping sparkui的IP 如果ping不同,检查映射配置与网络设置。
-
ALM-14016 DataNode直接内存使用率超过阈值 - MapReduce服务 MRS
节点内存是否够用可根据实际环境进行判断,例如可使用以下方法: 以root用户登录告警上报的实例的IP地址,执行free -g命令,查看“free”列的“Mem”值即为节点可用内存,如下示例中节点可用内存为4G。
-
使用KafkaStreams统计数据 - MapReduce服务 MRS
High level KafkaStreams API代码样例 下面代码片段在com.huawei.bigdata.kafka.example.WordCountDemo类的createWordCountStream方法中。
-
在Spark应用执行过程中NodeManager出现OOM异常 - MapReduce服务 MRS
具体的配置方法如下: 用户可登录FusionInsight Manager,单击“集群 > 待操作集群的名称 > 服务 > Yarn > 配置”,单击“全部配置”,单击“NodeManager > 系统”,在“GC_OPTS”参数中修改配置。
-
在本地Windows环境中调测ClickHouse应用(MRS 3.3.0及之后版本) - MapReduce服务 MRS
图2 复制配置文件绝对路径 使用clickhouse-example.properties路径替换Demo.java中getProperties()方法中proPath的路径。