-
修改Manager系统域名 - MapReduce服务 MRS
重置后的密码为Admin@123Test#$%@123。 重置后的密码必需满足当前用户密码策略,使用omm用户登录主OMS节点后,执行如下工具脚本可以获取到修改域名后的“人机”用户密码。 sh ${BIGDATA_HOME}/om-server/om/sbin/get_reset_pwd
-
使用Jupyter Notebook对接MRS Spark - MapReduce服务 MRS
install helloword python3 import helloworld helloworld.say_hello("test") 测试安装第三方Python库(如pandas、sklearn)。 pip3 install pandas pip3 install backports
-
YARN Command介绍 - MapReduce服务 MRS
GDATA_HOME}/FusionInsight_HD_8.1.2.2/1_10_NodeManager/etc rmadmin 管理员工具(动态更新信息)。 version 打印版本信息。 jar <jar> 运行jar文件。 logs 获取container日志。 classpath
-
YARN Command介绍 - MapReduce服务 MRS
GDATA_HOME}/FusionInsight_HD_8.1.2.2/1_10_NodeManager/etc rmadmin 管理员工具(动态更新信息)。 version 打印版本信息。 jar <jar> 运行jar文件。 logs 获取container日志。 classpath
-
BulkPut接口使用 - MapReduce服务 MRS
Manager中下载principal用户的认证凭证,样例代码中使用的用户为:super,需要修改为准备好的开发用户。 打包项目 通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 将打包生成的jar包上传到Spark客户端所在服务器
-
YARN Command介绍 - MapReduce服务 MRS
GDATA_HOME}/FusionInsight_HD_8.1.0.1/1_10_NodeManager/etc rmadmin 管理员工具(动态更新信息)。 version 打印版本信息。 jar <jar> 运行jar文件。 logs 获取container日志。 classpath
-
导入并配置Flink样例工程 - MapReduce服务 MRS
将Java样例工程导入到IDEA中。 打开IntelliJ IDEA。在“Quick Start”页面选择“Import Project”。 或者,针对已使用过的IDEA工具,您可以从IDEA主界面直接添加。选择“File > Import project...”导入工程。 图12 Import Project(Quick
-
BulkLoad接口使用 - MapReduce服务 MRS
Manager中下载principal用户的认证凭证,样例代码中使用的用户为:super,需要修改为准备好的开发用户。 打包项目 通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 将打包生成的jar包上传到Spark客户端所在服务器
-
安装MRS 3.x及之后版本Flume客户端 - MapReduce服务 MRS
Manager界面上看不到该客户端的相关信息。 “-c”(可选):指定业务配置文件,该文件需要用户根据自己业务生成,具体操作可在Flume服务端中“配置工具”页面参考Flume业务配置指南章节生成,并上传到待安装客户端节点上的任一目录下。若安装时未指定(即不配置该参数),可在安装后上传已经生成的业务配置文件properties
-
操作HBase数据源 - MapReduce服务 MRS
Manager中下载principal用户的认证凭证,样例代码中使用的用户为:super,需要修改为准备好的开发用户。 打包项目 通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中调测Spark应用。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“$SPARK_HOME”
-
foreachPartition接口使用 - MapReduce服务 MRS
Manager中下载principal用户的认证凭证,样例代码中使用的用户为:super,需要修改为准备好的开发用户。 打包项目 通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中调测Spark应用。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“$SPARK_HOME”
-
扩容集群 - MapReduce服务 MRS
更新。 扩容后,如需对HDFS数据进行均衡操作,请参考配置DataNode容量均衡。如需对Kafka数据进行均衡操作,请参考Kafka均衡工具使用说明。 扩容按需集群 登录MRS管理控制台。 选择 “现有集群” ,选中一个运行中的集群并单击集群名称,进入集群信息页面。 选择“节点
-
安装MRS 3.x及之后版本Flume客户端 - MapReduce服务 MRS
Manager界面上看不到该客户端的相关信息。 “-c”(可选):指定业务配置文件,该文件需要用户根据自己业务生成,具体操作可在Flume服务端中“配置工具”页面参考Flume业务配置指南章节生成,并上传到待安装客户端节点上的任一目录下。若安装时未指定(即不配置该参数),可在安装后上传已经生成的业务配置文件properties
-
YARN Command介绍 - MapReduce服务 MRS
GDATA_HOME}/FusionInsight_HD_8.1.0.1/1_10_NodeManager/etc rmadmin 管理员工具(动态更新信息)。 version 打印版本信息。 jar <jar> 运行jar文件。 logs 获取container日志。 classpath
-
HetuEngine日志介绍 - MapReduce服务 MRS
hetu-updateKrb5.log 部署Hive集群更换域后,Hive数据源配置自动刷新时打印的日志。 hetu_utils.log 启动时预处理脚本调用工具类上传文件到HDFS时打印的日志。 日志级别 HetuEngine中提供了如表2所示的日志级别。日志级别优先级从高到低分别是OFF、ERR
-
mapPartitions接口使用 - MapReduce服务 MRS
Manager中下载principal用户的认证凭证,样例代码中使用的用户为:super,需要修改为准备好的开发用户。 打包项目 通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 将打包生成的jar包上传到Spark客户端所在服务器
-
操作Avro格式数据 - MapReduce服务 MRS
以数据源的方式操作HBase,将上面生成的RDD写入HBase表中。 读取HBase表中的数据,并且对其进行简单的操作。 打包项目 通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 将打包生成的jar包上传到Spark客户端所在服务器
-
操作Avro格式数据 - MapReduce服务 MRS
以数据源的方式操作HBase,将上面生成的RDD写入HBase表中。 读取HBase表中的数据,并且对其进行简单的操作。 打包项目 通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中调测Spark应用。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“$SPARK_HOME”
-
HBase开源增强特性 - MapReduce服务 MRS
据。原理图如下: HBase开源增强特性:Phoenix CsvBulkLoad工具导入支持用户自定义分隔符 该内容适用于MRS 3.2.0及之后版本。 Phoenix开源CsvBulkLoad工具当前仅支持指定单个字符作为数据分割符,当用户数据文件中可能包含任意字符时,一般会采
-
批量写入Hudi表 - MapReduce服务 MRS
在确定数据都为新数据时建议使用INSERT,当存在更新数据时建议使用UPSERT,当初始化数据集时建议使用BULK_INSERT。 批量写入Hudi表 引入Hudi包生成测试数据,参考使用Spark Shell创建Hudi表章节的2到4。 写入Hudi表,写入命令中加入参数:option("hoodie.datasource