-
Loader开源增强特性 - MapReduce服务 MRS
Loader是在开源Sqoop组件的基础上进行了一些扩展,除了包含Sqoop开源组件本身已有的功能外,还开发了如下的增强特性: 提供数据转化功能 支持图形化配置转换步骤 支持从SFTP/FTP服务器导入数据到HDFS/OBS 支持从SFTP/FTP服务器导入数据到HBase表 支持从SFTP/FTP服务器导入数据到Phoenix表
-
使用UDF进行查询 - MapReduce服务 MRS
s1”和“root.sg.d1.s2”。 执行SELECT example(*) from root.sg.d1 那么结果集中将包括“example(root.sg.d1.s1)”和“example(root.sg.d1.s2)”的结果。 执行SELECT example(s1, *)
-
配置Syslog北向参数 - MapReduce服务 MRS
在“配置”区域“监控和告警配置”下,单击“Syslog配置”。 “Syslog服务”的开关默认为关闭,单击启用Syslog服务。 设置表1所示的对接参数。 表1 对接参数 参数区域 参数名称 参数说明 Syslog协议 服务IP 设置对接服务器IP地址。 服务端口 设置对接端口。 协议 设置协议类型,取值范围:
-
如何查看哪个ZooKeeper实例是leader - MapReduce服务 MRS
如何查看哪个ZooKeeper实例是leader 问题 如何查看ZooKeeper实例的角色是leader还是follower? 回答 登录Manager,选择“集群 > 待操作集群的名称 > 服务 > ZooKeeper > 实例”,单击相应的quorumpeer实例名称,进入
-
如何查看哪个ZooKeeper实例是Leader - MapReduce服务 MRS
如何查看哪个ZooKeeper实例是Leader 问题 如何查看ZooKeeper实例的角色是leader还是follower? 回答 登录Manager,选择“集群 > 待操作集群的名称 > 服务 > ZooKeeper > 实例”,单击相应的quorumpeer实例名称,进入
-
提交Storm拓扑后Worker日志为空 - MapReduce服务 MRS
在Eclipse中远程提交拓扑成功之后,无法在Storm WebUI查看拓扑的详细信息,并且每个拓扑的Bolt和Spout所在Worker节点在一直变化。查看Worker日志,日志内容为空。 可能原因 Worker进程启动失败,触发Nimbus重新分配任务,在其他Supervisor上启动W
-
快速使用HBase进行离线数据分析 - MapReduce服务 MRS
MRS Manager的主备管理节点默认安装在集群Master节点上。在主备模式下,由于Master1和Master2之间会切换,Master1节点不一定是MRS Manager的主管理节点,需要在Master1节点中执行命令,确认MRS Manager的主管理节点。命令请参考2.d。
-
开源sqoop-shell工具使用示例(SFTP - HDFS) - MapReduce服务 MRS
-----------+ 根据如上信息,可知SFTP连接器类型ID为6。 执行如下命令,创建连接器,根据提示输入具体的连接器信息。 create connection -c 连接器类型ID 例如,连接器类型的ID为6,则执行如下命令: create connection -c 6
-
使用Spark执行Hudi样例程序开发思路 - MapReduce服务 MRS
使用Spark执行Hudi样例程序开发思路 场景说明 本章节介绍如何使用Spark操作Hudi执行插入数据、查询数据、更新数据、增量查询、特定时间点查询、删除数据等操作。 详细代码请参考样例代码。 打包项目 将user.keytab、krb5.conf 两个文件上传客户端所在服务器上。 通
-
执行distcp命令报错如何处理 - MapReduce服务 MRS
执行distcp命令报错如何处理 问题 为何distcp命令在安全集群上失败并发生异常? 客户端出现异常: Invalid arguments:Unexpected end of file from server 服务器端出现异常: javax.net.ssl.SSLException:Unrecognized
-
使用Spark执行Hudi样例程序开发思路 - MapReduce服务 MRS
conf文件路径需要修改为该文件所在客户端服务器的实际路径。 运行Python样例代码无需通过Maven打包,只需要上传user.keytab、krb5.conf 文件到客户端所在服务器上。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“ /opt/example/” )下。 运行任务 登录Spark客户端节点,执行如下命令:
-
执行distcp命令报错如何处理 - MapReduce服务 MRS
执行distcp命令报错如何处理 问题 为何distcp命令在安全集群上失败并发生异常? 客户端出现异常: Invalid arguments:Unexpected end of file from server 服务器端出现异常: javax.net.ssl.SSLException:Unrecognized
-
MRS是否支持对DLI服务的业务表进行读写操作? - MapReduce服务 MRS
MRS是否支持对DLI服务的业务表进行读写操作? 问:MRS是否支持对DLI服务的业务表进行读写操作? 答:如果数据存放在OBS上,则支持使用MRS服务中的Spark读取DLI表,对表数据进行灵活处理,结果存入另一张DLI表,如果数据不存放在OBS上,则不支持。 父主题: 周边生态对接使用
-
ALM-12038 监控指标转储失败(2.x及以前版本) - MapReduce服务 MRS
是,执行9。 否,执行8。 登录服务器,查看绝对路径“保存路径”是否有“FTP用户名”的读写权限。 是,执行9。 否,执行8。 增加读写权限,然后检查告警是否恢复。 是,执行完毕。 否,执行9。 登录服务器,查看当前保存路径下是否有足够磁盘空间。 是,执行11。 否,执行10。
-
创建HBase索引进行数据查询 - MapReduce服务 MRS
/opt/client 配置环境变量。 source bigdata_env 如果集群为安全模式,执行以下命令进行用户认证。普通模式集群无需执行用户认证。 kinit 组件业务用户 执行以下命令访问Hindex。 hbase org.apache.hadoop.hbase.hindex
-
MRS集群的节点如何安装主机安全服务? - MapReduce服务 MRS
10 64bit。 图2 操作系统版本 确认MRS节点的操作系统版本是否在HSS服务的Agent支持的操作系统范围中。 HSS服务的Agent支持的操作系统列表请参见支持的操作系统。 是,执行2,安装主机安全HSS服务的Agent。 否,无法安装主机安全服务。 购买主机安全防护配
-
快速使用Hive进行数据分析 - MapReduce服务 MRS
对应角色。如果当前集群未启用Kerberos认证,则无需执行此命令。 kinit MRS集群用户 例如,kinit hiveuser。 运行Hive客户端命令,实现A业务。 内部表操作 执行以下命令登录Hive客户端命令行: beeline 根据表1创建用户信息表user_info并添加相关数据,例如:
-
创建HBase索引进行数据查询 - MapReduce服务 MRS
/opt/client 配置环境变量。 source bigdata_env 如果集群为安全模式,执行以下命令进行用户认证。普通模式集群无需执行用户认证。 kinit 组件业务用户 执行以下命令访问Hindex。 hbase org.apache.hadoop.hbase.hindex
-
开源sqoop-shell工具使用示例(SFTP - HDFS) - MapReduce服务 MRS
-----------+ 根据如上信息,可知SFTP连接器类型ID为6。 执行如下命令,创建连接器,根据提示输入具体的连接器信息。 create connection -c 连接器类型ID 例如,连接器类型的ID为6,则执行如下命令: create connection -c 6
-
快速使用HBase进行离线数据分析 - MapReduce服务 MRS
安装客户端,具体请参考安装客户端章节。 以客户端安装用户登录客户端安装节点,执行以下命令切换到客户端目录。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 如果当前集群已启用Kerberos认证,执行以下命令认证当前用户,当前用户需要具有创建HBase表的