检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hive作为数据仓库类型数据库,其并不能支持所有的JDBC标准API。例如事务类型的操作:rollback、setAutoCommit等,执行该类操作会获得“Method not supported”的SQLException异常。 父主题: Hive对外接口介绍
Hive作为数据仓库类型数据库,其并不能支持所有的JDBC标准API。例如事务类型的操作:rollback、setAutoCommit等,执行该类操作会获得“Method not supported”的SQLException异常。 父主题: Hive对外接口介绍
图2 选择开发环境 在工程信息页面,填写工程名称和存放路径,设置JDK版本,并勾选“Config later”(待工程创建完毕后引入scala的编译库文件),然后单击“Finish”完成工程创建。 图3 填写工程信息 父主题: 准备Spark应用开发环境
永久调整 在HDFS客户端环境变量配置文件“/opt/client/HDFS/component_env”(其中“/opt/client”需要改为实际客户端路径)增加“export HADOOP_ROOT_LOGGER=日志级别,console”。
Oozie Shell接口介绍 表1 接口参数说明 命令 参数 含义 oozie version 无 显示Oozie版本信息 oozie job -config <arg> 指定job配置文件(job.properties)路径 -oozie <arg> 指定oozie server
Oozie Shell接口介绍 表1 接口参数说明 命令 参数 含义 oozie version 无 显示oozie版本信息 oozie job -config <arg> 指定job配置文件(job.properties)路径 -oozie <arg> 指定oozie server
如果没有使用External Shuffle Service,Executor被杀时会丢失shuffle文件。
安全模式下,“机机”用户需要下载keytab文件。“人机”用户第一次登录时需修改密码。普通模式不需要下载keytab文件及修改密码操作。 使用Yarn客户端 安装客户端。 MRS 3.x之前版本请参考安装客户端章节。 MRS 3.x及之后版本请参考安装客户端章节。
cd /opt tar -xvf /opt/MRS_Services_Client.tar 执行以下命令校验安装文件包。
tar -xvf /opt/MRS_Services_Client.tar 执行以下命令校验安装文件包。
检查并修改resources目录下hiveclient.properties文件中“zk.port”和“zk.quorum”参数的值: zk.port:为访问FusionInsight ZooKeeper的端口,通常保持默认,根据实际使用情况修改。
检查并修改resources目录下hiveclient.properties文件中“zk.port”和“zk.quorum”参数的值: zk.port:为访问FusionInsight ZooKeeper的端口,通常保持默认,根据实际使用情况修改。
查询中是有数据的)。
可选参数RESTRICT|CASCADE用于指定删除的模式,默认是RESTRICT模式,在这种模式下,数据库必须为空,不包含任何表才能删除,如果是CASCADE模式,表示级联删除,会先删除数据库下面的表 ,再删除数据库。
则需要添加JVM配置参数,如下所示: -Dzookeeper.clientCnxnSocket=org.apache.zookeeper.ClientCnxnSocketNetty -Dzookeeper.client.secure=true 在“JDBCExampleZK.java”文件下单击右键
表命名规范 数据库表名称命名规则: 在数据库中,表名命名要求在当前数据库内唯一。 表名要求以字符开始,可以包含字符(a~z,A~Z)、数字(0~9)及下划线(_)。 父主题: ClickHouse宽表设计
/conf/log4j.properties命令,打开log4j.properties文件,修改“flume.root.logger”的取值为“${flume.log.level},console”。 执行.
数据源调优 在实际的应用场景中,数据源为了保证数据的容错性,会将数据保存在本地磁盘中,而Streaming的计算结果往往全部在内存中完成,数据源很有可能成为流式系统的最大瓶颈点。
如果HDFS Ranger策略可以匹配到Hive库表的文件或目录权限,则优先使用HDFS Ranger策略。 Ranger策略中的URL策略是hive表存储在obs上的场景涉及,URL填写对象在obs上的完整路径。
重新打开一个客户端连接窗口,执行以下命令,使用“kafka-console-consumer.sh”从输出Topic消费数据,查看统计结果。