正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ka、ZooKeeper、Kerberos的安全认证,这些安全认证只需要生成一个jaas文件并设置相关环境变量即可。LoginUtil相关接口可以完成这些配置。 代码样例 此代码片段在com.huawei.bigdata.kafka.example.security包的LoginUtil类中。
过客户端可以随机连接其中的任意一个服务进行业务操作。即使集群中一个或多个ThriftServer服务停止工作,也不影响用户通过同一个客户端接口连接其他正常的ThriftServer服务。 配置描述 登录Manager,选择“集群 > 待操作集群的名称 > 服务 > Spark2x
sterX”时,不能启用存储策略定义功能。 存储策略定义在Hue的WebUI界面上分为两大类: 静态存储策略 当前存储策略 根据HDFS的文档访问频率、重要性,为HDFS目录指定存储策略,例如ONE_SSD、ALL_SSD等,此目录下的文件可被迁移到相应存储介质上保存。 动态存储策略
过客户端可以随机连接其中的任意一个服务进行业务操作。即使集群中一个或多个ThriftServer服务停止工作,也不影响用户通过同一个客户端接口连接其他正常的ThriftServer服务。 配置描述 登录Manager,选择“集群 > 服务 > Spark2x > 配置”,单击“全部配置”,搜索并修改以下参数。
Java样例代码 功能简介 使用自定义客户端的JDBC接口提交数据分析任务,并返回结果。 样例代码 定义SQL语句。SQL语句必须为单条语句,注意其中不能包含“;”。示例: ArrayList<String> sqlList = new ArrayList<String>(); sqlList
keystore-password”和“security.ssl.truststore-password”的值,需要使用Manager明文加密API进行获取,执行curl -k -i -u user name:password -X POST -HContent-type:application/json
通过JDBC访问Spark SQL样例程序(Java) 功能简介 使用自定义客户端的JDBC接口提交数据分析任务,并返回结果。 样例代码 定义SQL语句。SQL语句必须为单条语句,注意其中不能包含“;”。示例: ArrayList<String> sqlList = new ArrayList<String>();
通过JDBC访问Spark SQL样例程序(Scala) 功能简介 使用自定义客户端的JDBC接口提交数据分析任务,并返回结果。 样例代码 定义SQL语句。SQL语句必须为单条语句,注意其中不能包含“;”。示例: val sqlList = new ArrayBuffer[String]
Scala样例代码 功能简介 使用自定义客户端的JDBC接口提交数据分析任务,并返回结果。 样例代码 定义SQL语句。SQL语句必须为单条语句,注意其中不能包含“;”。示例: val sqlList = new ArrayBuffer[String] sqlList += "CREATE
长如何处理? 问题背景 使用SparkSql访问Hive的一个数据存放于OBS的一个分区表,但是运行速度却很慢,并且会大量调用OBS的查询接口。 SQL样例: select a,b,c from test where b=xxx 原因分析 按照设定,任务应该只扫描b=xxx的分区
ALM-45329 Presto Coordinator资源组排队任务超过阈值 本章节仅适用于MRS 3.1.5及之后版本。 告警解释 系统通过jmx接口查询资源组的排队任务数即QueuedQueries指标,当检测到资源组排队数大于阈值时产生该告警。 告警属性 告警ID 告警级别 可自动清除
创建好作业后,可使用loader-backup工具进行数据备份。 仅有数据导出的Loader作业才支持数据备份。 此工具为Loder的内部接口,供上层组件HBase调用,只支持HDFS到SFTP的数据备份。 前提条件 完成了Loader客户端的安装与配置,具体操作请参见使用客户端运行Loader作业。
准备Hive应用开发和运行环境 准备开发环境 Hive组件可以使用JDBC/Python/Python3接口进行应用开发,要准备的开发和运行环境分别如下表所示。 表1 JDBC开发环境 准备项 说明 操作系统 开发环境:Windows系统,支持Windows7以上版本。 运行环境:Windows系统或Linux系统。
准备Hive应用开发和运行环境 准备开发环境 Hive组件可以使用JDBC/Python/Python3接口进行应用开发,要准备的开发和运行环境分别如下表所示。 表1 JDBC开发环境 准备项 说明 操作系统 开发环境:Windows系统,支持Windows7以上版本。 运行环境:Windows系统或Linux系统。
Hudi是一种数据湖的存储格式,在Hadoop文件系统之上提供了更新数据和删除数据的能力以及消费变化数据的能力。支持多种计算引擎,提供IUD接口,在HDFS的数据集上提供了插入更新和增量拉取的功能。 如需使用Hudi,请确保MRS集群内已安装Spark/Spark2x服务。 图1 Hudi基本架构
创建好作业后,可使用loader-backup工具进行数据备份。 仅有数据导出的Loader作业才支持数据备份。 此工具为Loder的内部接口,供上层组件HBase调用,只支持HDFS到SFTP的数据备份。 本章节适用于MRS 3.x及后续版本。 前提条件 完成了Loader客户
对连接器进行创建、更新、查询和删除,以及对Loader作业进行创建、更新、查询、删除、启动和停止等操作。 loader-tool工具是异步接口,命令提交后其结果不会实时返回到控制台,因此对连接器的创建、更新、查询和删除等操作,以及对Loader作业的创建、更新、查询、删除、启动和
HBase样例程序开发思路 通过典型场景,您可以快速学习和掌握HBase的开发过程,并且对关键的接口函数有所了解。 场景说明 假定用户开发一个应用程序,用于管理企业中的使用A业务的用户信息,如表1所示,A业务操作流程如下: 创建用户信息表。 在用户信息中新增用户的学历、职称等信息。
hive-examples/hive-jdbc-example-multizk Hive JDBC处理数据Java示例程序。 本工程使用JDBC接口连接Hive,在Hive中执行相关数据操作。使用JDBC接口实现创建表、加载数据、查询数据等功能,还可实现在同一个客户端进程内同时访问FusionInsight Zoo
hive-examples/hive-jdbc-example-multizk Hive JDBC处理数据Java示例程序。 本工程使用JDBC接口连接Hive,在Hive中执行相关数据操作。使用JDBC接口实现创建表、加载数据、查询数据等功能,还可实现在同一个客户端进程内同时访问FusionInsight Zoo