正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hive简介 Hive是一个开源的,建立在Hadoop上的数据仓库框架,提供类似SQL的HQL语言操作结构化数据,其基本原理是将HQL语言自动转换成MapReduce任务或Spark任务,从而完成对Hadoop集群中存储的海量数据进行查询和分析。 Hive主要特点如下: 通过HQL语言
JDBC应用 Hive是一个开源的,建立在Hadoop上的数据仓库框架,提供类似SQL的HQL语言操作结构化数据,其基本原理是将HQL语言自动转换成Mapreduce任务或Spark任务,从而完成对Hadoop集群中存储的海量数据进行查询和分析。 Hive主要特点如下: 通过HQL语言
HCatalog应用 Hive是一个开源的,建立在Hadoop上的数据仓库框架,提供类似SQL的HQL语言操作结构化数据,其基本原理是将HQL语言自动转换成Mapreduce任务或Spark任务,从而完成对Hadoop集群中存储的海量数据进行查询和分析。 Hive主要特点如下: 通过HQL语言
qop=auth-conf;auth=KERBEROS;principal=hive/hadoop.<系统域名>@<系统域名>" 10.39.151.74为HiveServer所在节点的IP地址。 21066为HiveServer端口。HiveServer端口默认范围为21066~21070,用户需根据实际配置端口进行修改。
qop=auth-conf;auth=KERBEROS;principal=hive/hadoop.<系统域名>@<系统域名>" 10.39.151.74为HiveServer所在节点的IP地址。 21066为HiveServer端口。HiveServer端口默认范围为21066~21070,用户需根据实际配置端口进行修改。
添加HBase数据源 本章节指导用户在HSConsole界面添加HBase数据源。 添加HBase数据源前提条件 数据源所在集群域名与HetuEngine集群域名不能相同。 数据源所在集群与HetuEngine集群节点网络互通。 在HetuEngine所在集群的所有节点的“/etc/h
说明章节获得。 “jaas-zk.conf”文件如下定义,“principal”为MRS组件应用安全认证说明中添加的认证用户名称+@+域名(域名为“krb5.conf”文件中的“default_realm”字段值,例如“HADOOP.COM”),“keyTab”为“user.keytab”文件的路径。
HTML输入 概述 “HTML输入”算子,导入有规则的HTML文件,并将HTML文件中的元素转换成输入字段。 输入与输出 输入:HTML文件 输出:多个字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 父标签 所有字段的上层HTML标签,用于限定搜索范围 string
Spark输入 概述 “Spark输入”算子,将SparkSQL表的指定列转换成同等数量的输入字段。 输入与输出 输入:SparkSQL表列 输出:字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 Spark数据库 SparkSQL的数据库名称。 String
client命令连接,host参数为ELB的私有IP地址。 HTTP 8123 发送http请求到ELB连接ClickHouse场景时配置。 本章节演示如何实现客户端通过ELB访问ClickHouse。具体操作分为以下几个步骤: 步骤一:购买ELB并获取其私有IP地址。 步骤二:添加ELB监听器,配置协议端口。
Socket Reader #1 for port 8032 | Auth successful for mapred/hadoop.<系统域名>@<系统域名> (auth:KERBEROS) | Server.java:1388 2016-07-21 16:35:27,105 | INFO
Socket Reader #1 for port 8032 | Auth successful for mapred/hadoop.<系统域名>@<系统域名> (auth:KERBEROS) | Server.java:1388 2016-07-21 16:35:27,105 | INFO
HTML输入 概述 “HTML输入”算子,导入有规则的HTML文件,并将HTML文件中的元素转换成输入字段。 输入与输出 输入:HTML文件 输出:多个字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 父标签 所有字段的上层HTML标签,用于限定搜索范围。 string
Spark输入 概述 “Spark输入”算子,将SparkSQL表的指定列转换成同等数量的输入字段。 输入与输出 输入:SparkSQL表列 输出:字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 Spark数据库 SparkSQL的数据库名称。 String
HBase输入 概述 “HBase输入”算子,将HBase表的指定列转换成同等数量的输入字段。 输入与输出 输入:HBase表列 输出:字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 HBase表类型 配置HBase表类型,可选项为normal(普通表)和phoenix表。
成对应服务的业务中断。 配置跨集群互信后,互信的集群中均会增加Kerberos内部用户“krbtgt/本集群域名@外部集群域名”、“krbtgt/外部集群域名@本集群域名”,用户不能删除。 针对MRS 2.x及之前版本,密码默认为“Crossrealm@123”。 MRS 3.x
HBase输入 概述 “HBase输入”算子,将HBase表的指定列转换成同等数量的输入字段。 输入与输出 输入:HBase表列 输出:字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 HBase表类型 配置HBase表类型,可选项为normal(普通表)和phoenix表。
Hive输入 概述 “Hive输入”算子,将Hive表的指定列转换成同等数量的输入字段。 输入与输出 输入:Hive表列 输出:字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 Hive数据库 Hive的数据库名称。 String 否 default Hive表名
postgres:需要连接的数据库名称。 IP:GaussDB(DWS) 集群地址。如果通过公网地址连接,请指定为集群“公网访问域名”,如果通过内网地址连接,请指定为集群“内网访问域名”。如果通过弹性负载均衡连接,请指定为“弹性负载均衡地址”。 username和password:连接数据库的用
onf”目录下,可参考5.4.1-编译并运行程序。 在二次开发过程中,PRINCIPAL需要用到的用户名,应该填写为带域名的用户名,例如创建的用户为test,域名为HADOOP.COM,则其PRINCIPAL用户名则为test@HADOOP.COM,代码举例: conf.set(PRINCIPAL