检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
录。 查询使用以“cn”结尾的邮箱的员工信息。 提交数据分析任务,统计表employees_info中有多少条记录。实现请参见使用JDBC接口提交数据分析任务。 父主题: Hive JDBC访问样例程序
MRS Manager支持包周期集群指定节点缩容 MRS大数据组件 解决Hivese提交sql卡顿问题 支持jobhistory查询失败信息接口 解决细粒度权限不生效问题 解决hive on Spark读取数据异常问题 解决Hive on mrs任务执行两次数据量增大问题 解决Hi
Process”是Hue的核心进程,负责应用进程管理。“Supervisor Process”和“WebServer”通过“THRIFT/REST”接口与WebServer上的应用进行交互,如图1所示。 图1 Hue架构示意图 图1中各部分的功能说明如表1所示。 表1 结构图说明 名称 描述
ClickHouseServer实例的IP地址可登录集群FusionInsight Manager界面,选择“集群 > 服务 > ClickHouse > 实例”获取。 未开启Kerberos认证的集群默认使用非SSL安全连接,默认连接端口为9000,可登录集群FusionInsight Manager界面,选择“集群
描述:从1开始,按照顺序,生成分组内记录的序列–比如,按照pv降序排列,生成分组内每天的pv名次ROW_NUMBER() 的应用场景非常多,再比如,获取分组内排序第一的记录。获取一个session中的第一条refer等。 SELECT cookieid, createtime, pv, ROW_NUMBER()
-split-by<column-name> 表的列名,用来切分工作单元,一般后面跟主键ID。 -table <table-name> 关系数据库表名,数据从该表中获取。 -target-dir <dir> 指定HDFS路径。 -warehouse-dir <dir> 与-target-dir不能同时使用
会收集到HDFS中。 修改参数值后,需重启YARN服务使其生效。 说明: 在修改值为“false”并生效后,生效前的日志无法在WebUI中获取。 如果需要在WebUI界面上查看之前产生的日志,建议将此参数设置为“true”。 true yarn.nodemanager.log-aggregation
确保客户端classpath下有“hive-site.xml”文件,且根据实际集群情况配置所需要的参数。JDBCServer相关参数详情,请参见Spark JDBCServer接口介绍。 开发思路 在default数据库下创建child表。 把“/home/data”的数据加载进child表中。 查询child表中的数据。
-split-by<column-name> 表的列名,用来切分工作单元,一般后面跟主键ID。 -table <table-name> 关系数据库表名,数据从该表中获取。 -target-dir <dir> 指定hdfs路径。 -warehouse-dir <dir> 与-target-dir不能同时使用
对于已启用Ranger授权的组件(HDFS与Yarn除外),Manager上非系统默认角色的权限将无法生效,需要通过配置Ranger策略为用户组赋权。 HDFS与Yarn的资源请求在Ranger中的策略条件未能覆盖的情况下,组件ACL规则仍将生效。 设置组件的权限时,每次最大支持1000条权限。
行该操作。 使用HDFS文件系统接口或者HBase接口删除或修改Hive表对应的文件 该操作会导致Hive业务数据丢失或被篡改。 除非确定丢弃这些数据,或者确保该修改操作符合业务需求,否则不要执行该操作。 使用HDFS文件系统接口或者HBase接口修改Hive表对应的文件或目录访问权限
图1中各模块的说明如表1所示: 表1 业务模块说明 模块名称 描述 Web Service 是一个部署在Tomcat下的Web服务,提供Manager的https接口,用于通过浏览器访问Manager。同时还提供基于Syslog和SNMP协议的北向接入能力。 OMS 操作维护系统的管理节点,OMS节点一般有两个,互为主备。
查看调测结果 ClickHouse应用程序运行完成后,可通过以下方式查看程序运行情况: 通过运行结果查看程序运行情况。 通过ClickHouse日志获取应用运行情况,即logs目录下的日志文件:clickhouse-example.log。 运行clickhouse-examples的完整样例后,控制台显示部分运行结果如下:
执行Map/Reduce任务。 ThriftServer:提供thrift接口,作为JDBC的服务端,并将Hive和其他应用程序集成起来。 Clients:包含WebUI和JDBC接口,为用户访问提供接口。 操作流程 本实践以用户开发一个Hive数据分析应用为例,通过客户端连接H
查看调测结果 ClickHouse应用程序运行完成后,可通过以下方式查看程序运行情况: 通过运行结果查看程序运行情况。 通过ClickHouse日志获取应用运行情况,即“logs”目录下的日志文件:clickhouse-example.log。 运行clickhouse-examples的
查看调测结果 ClickHouse应用程序运行完成后,可通过以下方式查看程序运行情况: 通过运行结果查看程序运行情况。 通过ClickHouse日志获取应用运行情况,即logs目录下的日志文件:clickhouse-example.log。 运行clickhouse-examples的完整样例后,控制台显示部分运行结果如下:
查看调测结果 ClickHouse应用程序运行完成后,可通过以下方式查看程序运行情况: 通过运行结果查看程序运行情况。 通过ClickHouse日志获取应用运行情况,即“logs”目录下的日志文件:clickhouse-example.log。 运行clickhouse-examples的
_DEFAULT_AGENCY”或者用户设置的自定义委托的AK/SK访问OBS服务,同时OBS服务会使用接收到的AK/SK访问数据加密服务获取KMS密钥状态,因此需要在使用的委托上绑定“KMS Administrator”策略,否则在处理加密数据时OBS会返回“403 Forbi
properties Kafka Broker角色实例所在节点IP地址及端口信息可参考步骤三:使用Kafka客户端创建Topic的6和7获取。 例如执行以下命令: kafka-console-producer.sh --broker-list 192.168.21.21:9092
component client is installed successfully ... 步骤三:准备应用程序及数据 MRS集群创建成功后,可获取集群客户端内预置的wordcount样例程序进行运行,也可准备自行开发的大数据应用程序并上传至集群。 本指南以运行MRS集群客户端内的wo