检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用Hue WebUI访问HDFS文件失败 问题 在使用Hue WebUI访问HDFS文件时,报如下图所示无法访问的错误提示,该如何处理? 回答 查看登录Hue WebUI的用户是否具有“hadoop”用户组权限。 查看HDFS服务是否安装了HttpFS实例且运行正常。如果未安装
为什么在off heap时数据加载失败? 问题 为什么在off heap时数据加载失败? 回答 YARN Resource Manager将(Java堆内存 + “spark.yarn.am.memoryOverhead”)作为内存限制。 因此在off heap时,内存可能会超出此限制。
如何在CarbonData中配置非安全内存? 问题 如何在CarbonData中配置非安全内存? 回答 在Spark配置中,“spark.yarn.executor.memoryOverhead”参数的值应大于CarbonData配置参数“sort.inmemory.size.inmb”
接成功 问题 在HBase服务端出现问题,无法提供服务,此时HBase客户端进行表操作,会出现该操作挂起,长时间无任何反应。 回答 问题分析 当HBase服务端出现问题,HBase客户端进行表操作的时候,会进行重试,并等待超时。该超时默认值为Integer.MAX_VALUE (2147483647
Impala集群查询数据的时候出现bad version和invalid TType错误 问题 Impala集群查询数据的时候出现bad version和invalid TType错误,如何解决? 回答 通常为Impala元数据未更新导致的,使用invalidate metadata
talog(Internal Catalog无法删除)。可以通过DROP CATALOG命令删除一个External Catalog。 该操作仅会删除Doris中该Catalog的映射信息,并不会修改或变更任何外部数据目录的内容。 Resource Resource是一组配置的集合。用户可以通过CREATE
为什么ZooKeeper节点上netcat命令无法正常运行 问题 为什么在Zookeeper服务器上启用安全的netty配置时,四个字母的命令不能与linux的netcat命令一起使用? 例如: echo stat |netcat host port 回答 Linux的netca
HBase客户端连接服务端时长时间无法连接成功 问题 在HBase服务端出现问题,无法提供服务,此时HBase客户端进行表操作,会出现该操作挂起,长时间无任何反应。 回答 问题分析 当HBase服务端出现问题,HBase客户端进行表操作的时候,会进行重试,并等待超时。该超时默认值为Integer.MAX_VALUE (2147483647
当SQL逻辑中存在Shuffle操作时,会大大增加hash分桶数,严重影响性能。 在小文件场景下,您可以通过如下配置手动指定每个Task的数据量(Split Size),确保不会产生过多的Task,提高性能。 当SQL逻辑中不包含Shuffle操作时,设置此配置项,不会有明显的性能提升。
通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中调测Spark应用。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“ /opt/female/” )下。 运行任务 进入Spark客户端目录,调用bin/spark-sub
到该NameNode的HDFS客户端,能够主备切换连接到另一个NameNode,进行正常的操作,而对于已经连接到该NameNode节点的HDFS客户端可能会长时间无响应,无法进行下一步操作。 回答 目前出现上述问题时使用的是默认配置,如表1所示,HDFS客户端到NameNode的RPC连接存在keep
性参数用于设置诊断消息的最大大小。 若您需要设置“yarn.app.attempt.diagnostics.limit.kc”参数值,具体操作参考修改集群服务配置参数,进入Yarn“全部配置”页面,在搜索框搜索以下参数。 表1 参数描述 参数 描述 默认值 yarn.app.attempt
创建大量ZNode后ZooKeeper Server启动失败 问题 创建大量ZNode后,ZooKeeper集群处于故障状态不能自动恢复,尝试重启失败,ZooKeeper Server日志显示如下内容: Follower: 2016-06-23 08:00:18,763 | WARN
参数用于设置诊断消息的最大大小。 如果您需要设置“yarn.app.attempt.diagnostics.limit.kc”参数值,具体操作参考修改集群服务配置参数,进入Yarn“全部配置”页面,在搜索框搜索以下参数。 表1 参数描述 参数 描述 默认值 yarn.app.attempt
通过FusionInsight Manager服务配置和租户管理页面的操作,用户可以实现设置服务内存限额、创建租户、关联ClickHouse服务、绑定逻辑集群、设置租户可用内存和CPU优先级、租户关联用户等操作。Manager侧和ClickHouse侧的角色关联关系如下图所示: 当前版本支持的资源配置列表如下表所示:
开启TableStatus多版本特性下,最新tablestatus文件丢失或损坏,如何恢复 问题 开启TableStatus多版本特性下,最新的tablestatus文件丢失或其他异常原因损坏的情况下,如何恢复? 回答 使用当前可得的最近的tablestatus文件进行恢复,分为如下两个场景来进行恢复:
SQLServer全数据类型导入HDFS数据跳过 问题 SQLServer全数据类型导入HDFS,数据全部跳过。 答案 数据中包含SQLServer中特有的Timestamp类型,该数据类型与时间和日期无关,需要替换为Datetime类型。 父主题: Loader常见问题
on channel 0. Connection closed”。 图1 SFTP服务报错 回答 该报错是由于未启用SFTP服务导致。 处理步骤 执行以下命令修改sshd_config配置,并保存退出。 cd /etc/ssh vi sshd_config Subsystem sftp
FlinkSQL Kafka Connector支持消费drs-json格式数据 本章节适用于MRS 3.3.0及以后版本。 使用场景 FlinkSQL需要消费Kafka中drs-json格式(一种CDC消息格式)的数据。 使用方法 在创建的Kafka Connector Source流表中,设置
SHOW TBLPROPERTIES TABLE|VIEW 语法 SHOW TBLPROPERTIES table_name|view_name[(property_name)] 描述 查看表的属性或关键字的属性。 如果不指定属性的关键词,该语句将返回所有的表属性。 否则返回给定关键词的属性值。