检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
BY能够用于给指定的分桶列进行排序;BUCKETS能够被用于指定分桶数;EXTERNAL可用于指定创建外部表;STORED AS能被用于指定文件存储的格式;LOCATION能被用于指定在HDFS上存储的路径。 想要查看支持哪些column属性,可以运行以下命令,会显示当前对接的catalog分别支持哪些列属性。
page. 原因分析 当前登录的用户没有访问Manager的权限。 “/srv/BigData/dbdata_om”所在的分区磁盘空间被占满。 处理步骤 使用admin用户登录到FusionInsight Manager用户管理界面,检查当前报错用户的权限。 用户至少具有Manager的以下权限之一才可以访问。
无法启动HDFS、Yarn服务组件,报错内容:/dev/null Permission denied。 原因分析 用户修改了虚机系统的“/dev/null”的权限值为775。 处理步骤 以root用户登录集群的任意一个Master节点。 登录成功后,执行chmod 666 /dev/null命令,修改“/dev/null”的权限值为“666”。
shell访问HBase,发现访问HBase非常慢。 原因分析 安全集群需要进行Kerberos认证,需要在客户端节点的hosts中配置信息,访问速度才不会受到影响。 处理步骤 将集群节点上的hosts文件内容复制到安装客户端节点的hosts文件中。 父主题: 集群管理类
stderr和stdout跳转到日志页面。 原因分析 配置项“spark.httpdProxy.enable”未开启。 修改配置项查看日志处理步骤 在客户端修改spark-defaults.conf的配置项:spark.httpdProxy.enable = true,该配置项取值默认为false。
factor: 2 larger than available brokers: 0. 原因分析 由特殊字符导致获取的ZooKeeper地址变量错误。 处理步骤 登录任意一个Master节点。 执行cat 客户端安装目录/Kafka/kafka/config/server.properties
目录重建,仍在原来目录执行impala-shell时会产生某些系统变量或者参数无法找到的情况,所以连接impala-shell连接失败。 处理步骤 任意切换到存在的目录,重新连接impala-shell即可。 父主题: 使用Impala
为什么ZooKeeper Server出现java.io.IOException: Len的错误日志 为什么ZooKeeper节点上netcat命令无法正常运行 如何查看哪个ZooKeeper实例是Leader 使用IBM JDK时客户端无法连接ZooKeeper ZooKeeper客户端刷新TGT失败
Ranger常见问题 安装集群过程中Ranger启动失败 如何判断某个服务是否使用了Ranger鉴权 新创建用户修改完密码后无法登录Ranger Ranger界面添加或者修改HBase策略时,无法使用通配符搜索已存在的HBase表 在Ranger管理界面查看不到创建的MRS用户
a/dbservice/DB/gs_ctl-current.log,报如下错误。 检查发现/tmp权限不正确,正确的权限应该为777。 解决办法 修改/tmp权限为777。 重新启动DBService组件。 父主题: 使用DBservice
1接口作业提交后,状态显示为error。 原因分析 executor会监控作业日志回显,确定作业执行结果,改为error后,检测不到输出结果,因此过期后判断作业状态为异常。 处理步骤 将“/opt/client/Spark/spark/conf/log4j.properties”中的日志级别修改为info。 建议与总结
apache.phoenix.filter.SingleCQKeyValueComparisonFilter 原因分析 用户配置的默认路径不正确。 处理步骤 登录任意Master节点。 修改Spark客户端目录下的配置文件。 执行vim 客户端安装目录/Spark/spark/conf/spark-defaults
failed on channel 0. Connection closed”。 图1 SFTP服务报错 回答 该报错是由于未启用SFTP服务导致。 处理步骤 执行以下命令修改sshd_config配置,并保存退出。 cd /etc/ssh vi sshd_config Subsystem sftp
batch”或“TabletWriter add batch with unknown id”。 原因分析 系统并发量较大或数据量大导致任务执行超时。 处理步骤 登录MySQL客户端,执行以下命令适当调大“query_timeout”参数值,默认为300秒。 SET GLOBAL query_timeout
使用Hue提交Oozie Distcp作业 使用Hue提交Oozie SSH作业 使用Hue提交Coordinator定时调度作业 使用Hue提交Bundle批处理作业 在Hue界面中查询Oozie作业结果 配置Oozie节点间用户互信 父主题: 使用Oozie
带回调函数的发送接口,通常用于异步发送后,通过回调函数实现对发送结果的处理。 void onCompletion(RecordMetadata metadata, Exception exception); 回调函数接口方法,通过实现Callback中的此方法来进行异步发送结果的处理。 Consumer重要接口 表3
安全组选的是企业项目A。 IAM这边加入的组没有任何权限设置。 经过分析用户的VPC企业项目B里缺少vpc readonly权限导致了该报错的发生。 处理步骤 给VPC所在的企业项目添加VPC只读权限后问题解决。 父主题: 账号权限类
表1 参数介绍 参数 描述 默认值 spark.sql.parquet.compression.codec 对于非分区parquet表,设置其存储文件的压缩格式。 snappy 父主题: Spark Core企业级能力增强
Server): 票据授权服务器,用于通过TGT生成访问服务的服务票据ST。 图2 认证流程图 LDAP数据读写 LDAP作为用户数据存储中心,存储了集群内用户的信息,包含密码,附属信息等。用户操作用户数据或进行Kerberos认证需要访问LDAP。 图3 数据修改过程 LDAP数据同步
使用Sqoop Sqoop如何连接MySQL Sqoop读取MySQL数据到HBase时报HBaseAdmin.<init>方法找不到异常 通过Hue创建Sqoop任务将数据从HBase导入HDFS时报错 通过Sqoop从Hive导出数据到MySQL 8.0时报数据格式错误 通过sqoop