检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
查看客户端连接的HiveServer。例如,Hive客户端显示“0: jdbc:hive2://10.172.0.43:21066/>”,表示当前连接的HiveServer节点IP地址为“10.172.0.43”。 创建函数、删除函数或者修改任意数据库。 需要授予“Hive管理员权限”。
来的日志就越少。 表8 日志级别 级别 描述 FATAL FATAL表示当前事件处理出现严重错误信息,可能导致系统崩溃。 ERROR ERROR表示当前事件处理出现错误信息,系统运行出错。 WARN WARN表示当前事件处理存在异常信息,但认为是正常范围,不会导致系统出错。 INFO
Oozie Oozie简介 Oozie是一个基于工作流引擎的开源框架,它能够提供对Hadoop作业的任务调度与协调。 Oozie结构 Oozie引擎是一个Web App应用,默认集成到Tomcat中,采用pg数据库。 基于Ext提供WEB Console,该Console仅提供对
取值范围:当存储空间配额单位设置为MB时,范围为1~8796093022208。当存储空间配额单位设置为GB时,范围为1~8589934592。 此参数值表示租户可使用的HDFS存储空间上限,不代表一定使用了这么多空间。 如果参数值大于HDFS物理磁盘大小,实际最多使用全部的HDFS物理磁盘空间。
导入并配置Spark样例工程 操作场景 Spark针对多个场景提供样例工程,包含Java样例工程和Scala样例工程等,帮助客户快速学习Spark工程。 针对Java和Scala不同语言的工程,其导入方式相同。使用Python开发的样例工程不需要导入,直接打开Python文件(*
导入并配置Spark样例工程 操作场景 Spark针对多个场景提供样例工程,包含Java样例工程和Scala样例工程等,帮助客户快速学习Spark工程。 针对Java和Scala不同语言的工程,其导入方式相同。使用Python开发的样例工程不需要导入,直接打开Python文件(*
值(适用于MRS 3.3.0及以后版本) 'ignoreNullWhenUpsert' = 'false'--true表示忽略null值,false表示不忽略空值,将空值写到数据库中 ); CREATE TABLE KafkaSource ( c_customer_sk INTEGER
认值为,。 OPTIONS('DELIMITER'=',' , 'QUOTECHAR'='"') 可使用'DELIMITER'='\t'来表示用制表符tab对CSV数据进行分隔。 OPTIONS('DELIMITER'='\t') CarbonData也支持\001和\017作为分隔符。
配置当前策略适用的job名,可以填写多个值。这里支持通配符,例如:test、test*、*。 “Include”策略适用于当前输入的对象,“Exclude”表示策略适用于除去当前输入内容之外的其他对象。 Description 策略描述信息。 Audit Logging 是否审计此策略。 Allow
定”。界面提示“操作成功。”,单击“完成”,配置保存成功。 保存完成后请重新启动配置过期的服务或实例以使配置生效。 配置参数前包含图标时,表示该参数为动态生效,保存配置后参数值会自动刷新到配置文件中。(动态生效图标仅MRS 3.2.0及之后版本支持) MRS 2.x及之前版本: 在MRS
例如在navicat工具选择“File > New Query”新建查询,输入如下SQL命令,单击“Run”在结果中“log_bin”显示为“ON”则表示开启成功。 show variables like 'log_%' 如果当前MySQL未开启bin log功能,需执行以下操作: 可以通过修改MySQL的配置文件“my
企业项目ID。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 isMrsManagerFinish Boolean 参数解释: 表示集群创建过程中,MRS Manager是否安装完成。 约束限制: 不涉及 取值范围: true:安装完成。 false:安装未完成。 默认取值:
conf”配置文件的“renew_lifetime = 0m”配置项。 HBase应用程序运行完成后,可直接通过运行结果查看应用程序运行情况。 运行结果出现如下信息表示程序运行成功。 2020-03-13 14:54:13,369 INFO [main] client.HBaseAdmin: Operation:
Hive基本原理 Hive是建立在Hadoop上的数据仓库基础构架。它提供了一系列的工具,可以用来进行数据提取转化加载(ETL),这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。Hive定义了简单的类SQL查询语言,称为HQL,它允许熟悉SQL的用户查询数据。
导入并配置Flink样例工程 操作场景 Flink针对多个场景提供样例工程,包含Java样例工程和Scala样例工程等,帮助客户快速学习Flink工程。 针对Java和Scala不同语言的工程,其导入方式相同。 以下操作步骤以导入Java样例代码为例。操作流程如图1所示。 图1 导入样例工程流程
例如执行以下命令: hetu-cli --catalog mysql_1 --schema mysql 执行以下命令,可正常查看数据库表信息或不报错即表示连接成功。 show tables; MySQL与HetuEngine数据类型映射 MySQL数据类型到HetuEngine数据类型映射 MySQL类型
test --zookeeper 192.168.234.231:2181/kafka --from-beginning 当可以消费到数据时,表示集群服务正常。 查看Consumer相关配置,发现ZooKeeper连接地址错误。 Flume server.sources.Source02
参数解释: 返回结果中每页显示条数。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 10 offset 否 String 参数解释: 表示作业列表从该偏移量开始查询。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 1 sort_by 否 String 参数解释: 返回结果的排序方式。
refreshConfig.sh /opt/client /tmp/MRS-client/MRS_Services_Client.tar 界面显示以下信息表示配置刷新更新成功: ReFresh components client config is complete. Succeed to refresh
/tmp/FusionInsight-Client/FusionInsight_Cluster_1_Services_Client.tar 界面显示以下信息表示配置刷新更新成功: ReFresh components client config is complete. Succeed to refresh