检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
7补丁安装后,需要重新下载安装全量的客户端,包含Master节点的原始客户端和虚拟私有云的其他节点使用的客户端(即您自行搭建的客户端)。 主备Master节点的原始客户端全量更新,请参见更新客户端配置(2.x及之前版本)。 自行搭建的客户端全量安装方法,请参见安装客户端(2.x及之前版本)。
SocketException: No buffer space available”异常? 这个问题发生在往HDFS写文件时。查看客户端和DataNode的错误日志。 客户端日志如下: 图1 客户端日志 DataNode日志如下: 2017-07-24 20:43:39,269 | ERROR | DataXceiver
hadoop-<SSH_USER>-jhshadaemon-<hostname>.log 守护进程(Daemon)的运行日志。 hadoop-<SSH_USER>-<process_name>-<hostname>.out MR运行环境信息日志。 historyserver-<SSH_USER>-<DATE>-<PID>-gc
hadoop-<SSH_USER>-jhshadaemon-<hostname>.log 守护进程(Daemon)的运行日志。 hadoop-<SSH_USER>-<process_name>-<hostname>.out MR运行环境信息日志。 historyserver-<SSH_USER>-<DATE>-<PID>-gc
除了导入Spark样例工程,您还可以使用IDEA新建一个Spark工程。如下步骤以创建一个Scala工程为例进行说明。 操作步骤 打开IDEA工具,选择“Create New Project”。 图1 创建工程 在“New Project”页面,选择“Scala”开发环境,并选择“Scala
调测Hive应用 在本地Windows环境中调测Hive JDBC样例程序 在Linux环境中调测Hive JDBC样例程序 调测Hive HCatalog样例程序 调测Hive Python样例程序 调测Hive Python3样例程序 调测Hive SpringBoot样例程序
log 修改密码工具运行日志 dbserver_switchover.log DBServer执行主备倒换脚本的日志(需执行主备倒换操作) GAUSSDB运行日志 gaussdb.log 记录数据库运行信息 gs_ctl-current.log 记录gs_ctl工具的操作 gs_guc-current
除了导入Spark样例工程,您还可以使用IDEA新建一个Spark工程。如下步骤以创建一个Scala工程为例进行说明。 操作步骤 打开IDEA工具,选择“Create New Project”。 图1 创建工程 在“New Project”页面,选择“Scala”开发环境,并选择“IDEA”,然后单击“Next”。
除了导入Spark样例工程,您还可以使用IDEA新建一个Spark工程。如下步骤以创建一个Scala工程为例进行说明。 操作步骤 打开IDEA工具,选择“Create New Project”。 图1 创建工程 在“New Project”页面,选择“Scala”开发环境,并选择“IDEA”,然后单击“Next”。
除了导入Spark样例工程,您还可以使用IDEA新建一个Spark工程。如下步骤以创建一个Scala工程为例进行说明。 操作步骤 打开IDEA工具,选择“Create New Project”。 图1 创建工程 在“New Project”页面,选择“Scala”开发环境,并选择“IDEA”,然后单击“Next”。
单击左上角“提交”提交作业。 新建Flink Jar作业 单击“选择”,上传本地Jar文件,并参考表2配置参数或添加自定义参数。 表2 参数配置 参数名称 参数描述 本地jar文件 上传jar文件。直接上传本地文件,大小不能超过10M。 Main Class Main-Class类型。
OMA上面性能监控和告警的Agent,负责收集该Agent Node上的性能监控数据和告警数据。 CAS 统一认证中心,登录Web Service时需要在CAS进行登录认证,浏览器通过URL自动跳转访问CAS。 AOS 权限管理模块,管理用户和用户组的权限。 ACS 用户和用户组管理模块,管理用户及用户归属的用户组。
如何查看指定Yarn任务的日志? 以root用户登录主Master节点。 执行如下命令初始化环境变量。 source 客户端安装目录/bigdata_env 如果当前集群已启用Kerberos认证,执行以下命令认证当前用户。如果当前集群未启用Kerberos认证,则无需执行此命令。
概述。Manager的审计日志默认保存在数据库中,如果长期保留可能引起数据目录的磁盘空间不足问题,管理员如果需要将审计日志保存到其他归档服务器,可以在FusionInsight Manager设置转储参数及时自动转储,便于管理审计日志信息。审计日志转储操作指导请参见配置审计日志转储。
报错找不到QueryProvider类 问题 报错找不到QueryProvider类。 回答 搜索mrs客户端目录,将以下两个jar包放入sqoop的lib目录下。 父主题: Sqoop常见问题
问题原因: 在IBM JDK下建立的Hive connection时间超过登录用户的认证超时时间(默认一天),导致认证失败。 IBM JDK的机制跟Oracle JDK的机制不同,IBM JDK在认证登录后的使用过程中做了时间检查却没有检测外部的时间更新,导致即使显式调用Hive
问题原因: 在IBM JDK下建立的JDBC connection时间超过登录用户的认证超时时间(默认一天),导致认证失败。 IBM JDK的机制跟Oracle JDK的机制不同,IBM JDK在认证登录后的使用过程中做了时间检查却没有检测外部的时间更新,导致即使显式调用relogin也无法得到刷新。
问题原因: 在IBM JDK下建立的Hive connection时间超过登录用户的认证超时时间(默认一天),导致认证失败。 IBM JDK的机制跟Oracle JDK的机制不同,IBM JDK在认证登录后的使用过程中做了时间检查却没有检测外部的时间更新,导致即使显式调用Hive
在Ranger管理界面查看不到创建的MRS用户 问题 在MRS Manager界面创建了一个账户,登录到Ranger管理界面后查看不到该用户。 回答 登录到Ranger管理界面的用户权限不够,需要切换至rangeradmin用户或者其他具有Ranger管理员权限的用户。 在Ranger
运行。 客户端运行环境已安装1.7或1.8版本的JDK。 客户端机器的时间与Hadoop集群的时间要保持一致,时间差小于5分钟。 MRS集群的时间可通过登录主管理节点(集群管理IP地址所在节点)运行date命令查询。 下载MapReduce客户端程序到客户端机器中。 登录MRS Manager系统。