检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
加载Impala数据 功能简介 本小节介绍了如何使用Impala SQL向已有的表employees_info中加载数据。从本节中可以掌握如何从集群中加载数据。 样例代码 -- 从本地文件系统/opt/impala_examples_data/目录下将employee_info.
查询Impala数据 功能简介 本小节介绍了如何使用Impala SQL对数据进行查询分析。从本节中可以掌握如下查询分析方法。 SELECT查询的常用特性,如JOIN等。 加载数据进指定分区。 如何使用Impala自带函数。 如何使用自定义函数进行查询分析,如何创建、定义自定义函数请见开发Impala用户自定义函数。
Kafka应用开发常见问题 Kafka常用API介绍 使用Kafka客户端SSL加密 配置Windows通过EIP访问安全模式集群Kafka 运行样例时提示Topic鉴权失败“TOPIC_AUTHORIZATION_FAILED” 运行Producer.java样例报错“ERROR
准备Kudu应用开发环境 准备本地应用开发环境 准备Kudu应用安全认证 父主题: Kudu开发指南(安全模式)
准备Flink应用开发环境 准备本地应用开发环境 导入并配置Flink样例工程 父主题: Flink开发指南(普通模式)
使用Hue WebUI操作Hive表 Hue汇聚了与大多数Apache Hadoop组件交互的接口,致力让用户通过界面图形化的方式轻松使用Hadoop组件。目前Hue支持HDFS、Hive、HBase、Yarn、MapReduce、Oozie和SparkSQL等组件的可视化操作。
connect.max.retries.on.timeouts 客户端与服务端建立Socket连接超时时,客户端的重试次数。 取值范围:1~256 45 ipc.client.connect.timeout 客户端与服务端建立socket连接的超时时间。增大该参数值,可以增加建立连接的超时时间。
本数,那么将会导致业务写入失败。 参数配置项为服务级配置需要重启Kafka,建议在变更窗口做服务级配置修改。 参数描述 如果业务需要保证高可用和高性能。 在服务端配置如表1中参数,参数配置入口请参考修改集群服务配置参数。 表1 服务端高可用性和高性能参数说明 参数 默认值 说明 unclean
操作场景 loader-tool工具支持通过作业模板或参数选项的方式,对连接器或者作业进行创建、更新、查询、删除等操作。 本文将以“从SFTP服务器导入数据到HDFS”的作业为例,通过引用作业模板的方式,介绍loader-tool工具的使用方法。 本章节适用于MRS 3.x及后续版本。
SHOW TABLES 命令功能 SHOW TABLES命令用于显示所有在当前database中的table,或所有指定database的table。 命令格式 SHOW TABLES [IN db_name]; 参数描述 表1 SHOW TABLES参数描述 参数 描述 IN db_name
TABLE RENAME 命令功能 RENAME命令用于重命名现有表。 命令语法 ALTER TABLE [db_name.]table_name RENAME TO new_table_name; 参数描述 表1 RENAME参数描述 参数 描述 db_name 数据库名。若未指定,则选择当前数据库。
增强HBase BulkLoad工具数据迁移能力 使用BulkLoad工具批量导入HBase数据 使用BulkLoad工具批量更新HBase数据 使用BulkLoad工具批量删除HBase数据 使用BulkLoad工具查询HBase表的行统计数 BulkLoad工具配置文件说明 父主题:
ImportTsv工具执行失败报“Permission denied”异常 问题 当使用与Region Server相同的Linux用户(例如omm用户)但不同的kerberos用户(例如admin用户)时,为什么ImportTsv工具执行失败报“Permission denied”的异常?
访问HBase Phoenix提示权限不足如何处理 问题 使用租户访问Phoenix提示权限不足。 回答 创建租户的时候需要关联HBase服务和Yarn队列。 租户要操作Phoenix还需要额外操作的权限,即Phoenix系统表的RWX权限。 例如: 创建好的租户为hbase,使用admin用户登录hbase
为什么DataNode无法正常上报数据块 问题 DataNode正常,但无法正常上报数据块,导致存在的数据块无法使用。 回答 当某个数据目录中的数据块数量超过4倍的数据块限定值“1M”时,可能会出现该错误。DataNode会产生相应的错误日志记录,如下所示: 2015-11-05
HDFS调用FileInputFormat的getsplit的时候出现数组越界 问题 HDFS调用FileInputFormat的getSplit方法的时候,出现ArrayIndexOutOfBoundsException: 0,日志如下: java.lang.ArrayInde
是否可以手动调整DataNode数据存储目录 问题 数据块在DataNode上的存储目录由“dfs.datanode.data.dir”配置项指定,是否可以修改该配置项来修改数据存储目录? 是否可以手动拷贝数据存储目录下的文件? 回答 “dfs.datanode.data.dir
往HDFS写数据时报错“java.net.SocketException” 问题 为什么在往HDFS写数据时报“java.net.SocketException: No buffer space available”异常? 这个问题发生在往HDFS写文件时。查看客户端和DataNode的错误日志。
3版本中,增加了对null、in、and、or表达式的下推支持。 配置参数 登录FusionInsight Manager系统,选择“集群 > 待操作集群的名称 > 服务 > Spark2x > 配置”,单击“全部配置”,搜索以下参数。 参数 说明 默认值 取值范围 spark.sql.hive.advan
jar包冲突列表 Jar包名称 描述 hbase-client-2.2.3-*.jar 连接HBase服务必须的jar包。 zookeeper-*.jar 连接ZooKeeper服务必须的jar包。 解决方案 使用MRS集群的ZooKeeper包“zookeeper*.jar”。