检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建Hive角色 操作场景 该任务指导MRS集群管理员在Manager创建并设置Hive的角色。Hive角色可设置Hive管理员权限以及Hive表的数据操作权限。 用户使用Hive并创建数据库需要加入hive组,不需要角色授权。用户在Hive和HDFS中对自己创建的数据库或表拥有
导入导出Hive表/分区数据 操作场景 在大数据应用场景中,往往存在将Hive中的数据表迁移到另一个集群上,使用Hive的导入导出命令可以实现表级别数据迁移,即可使用Export命令将源集群的Hive表导出到目标集群的HDFS中,再在目标集群使用Import命令将导出的数据导入到相应的Hive表中。
Hive性能调优 建立Hive表分区提升查询效率 Hive Join数据优化 Hive Group By语句优化 Hive ORC数据存储优化 Hive SQL逻辑优化 使用Hive CBO功能优化查询效率 父主题: 使用Hive
如何在导入Hive表时指定输出的文件压缩格式? 问题现象 如何在导入Hive表时指定输出的文件压缩格式? 处理步骤 当前Hive支持以下几种压缩格式: org.apache.hadoop.io.compress.BZip2Codec org.apache.hadoop.io.compress
加载文件到Hive的需求,但是当指定“LOCAL”时,这里的路径指的是当前连接的“HiveServer”的本地文件系统的路径,同时由于当前的“HiveServer”是集群式部署的,客户端在连接时是随机连接所有“HiveServer”中的一个,需要注意当前连接的“HiveServe
Hive 创建hive catalog 通过连接Hive Metastore,或者兼容Hive Metastore的元数据服务,Doris可以自动获取Hive的库表信息,并进行数据查询。 除了Hive外,很多其他系统也会使用Hive Metastore存储元数据。所以通过Hive
MRS Hive 获取MRS Hive配置文件方法如下: 获取“krb5.conf”和“user.keytab”文件。 参考下载用户认证文件,在MRS Manager下载用户认证文件,解压后得到“krb5.conf”和 “user.keytab”文件。 获取“hiveclient
加载数据到Hive表中 功能介绍 本小节介绍了如何使用HQL向已有的表employees_info中加载数据。从本节中可以掌握如何从本地文件系统、MRS集群中加载数据。以关键字LOCAL区分数据源是否来自本地。 样例代码 -- 从本地文件系统/opt/hive_examples_
kubernetes.io/elb.id: <your_elb_id> #本示例中使用已有的独享型ELB,请替换为您的独享型ELB ID kubernetes.io/elb.class: performance # ELB类型 kubernetes.io/elb.protocol-port:
如何通过监控数据和日志快速判断ELB的响应时间? 七层负载均衡HTTP和HTTPS可以通过监控指标项可以查看ELB的平均响应时间,同时可以通过日志查看每一次请求的响应时间。 登录控制台,并单击需要查询的负载均衡名称。 切换到“监控”页签,并选择正确的七层监听器。 查看“7层后端R
配置Hive支持创建超过32个角色 操作场景 此功能适用于Hive。 因为操作系统用户组个数限制,导致Hive不能创建超过32个角色,开启此功能后,Hive将支持创建超过32个角色。 开启本功能并对表库等授权后,对表库目录具有相同权限的角色将会用“|”合并。查询acl权限时,将显
columns; 配置Hive自动收集统计信息。开启配置后,执行insert overwrite/into命令插入数据时才自动统计新数据的信息。 在Hive客户端执行以下命令临时开启收集: set hive.stats.autogather = true;开启表/分区级别的统计信息自动收集。
导入并配置Hive样例工程 导入并配置Hive JDBC样例工程 导入并配置Hive HCatalog样例工程 导入并配置SpringBoot样例工程 配置Hive Python样例工程 配置Hive Python3样例工程 父主题: 准备Hive应用开发环境
获取监听器端口号 开启后可以将ELB实例的监听端口从报文的HTTP头中带到后端云服务器。 独享型ELB实例的端口启用HTTP/HTTPS时支持配置。 获取客户端请求端口号 开启后可以将客户端的源端口从报文的HTTP头中带到后端云服务器。 独享型ELB实例的端口启用HTTP/HTTPS时支持配置。
ELB负载均衡配置 配置后端对应服务器,将ecology主从服务器添加进去 图1 ELB负载均衡配置1 配置监听,例如80端口,后端服务器端口也选择80 图2 ELB负载均衡配置2 访问ELB公网IP地址验证结果 在浏览器中访问 http://Elb_Ip:Port 父主题: 搭建ecology运行环境
导入导出Hive数据库 操作场景 在大数据应用场景中,往往存在将Hive中的数据库及数据库下的所有表迁移到另一个集群上,使用Hive的导出导入数据库命令可以实现完整数据库的迁移。 本章节内容适用于MRS 3.2.0及之后版本。 Hive数据库导入导出功能目前不支持对加密表、HBa
kubernetes.io/elb.id 是 String ELB的ID,仅支持使用已有ELB实例。 kubernetes.io/elb.class 是 String ELB类型。只能使用独享型ELB,即取值必须为performance。 kubernetes.io/elb.multicluster
配置Hive Transform功能开关 操作场景 Hive开源社区版本禁用Transform功能。 MRS Hive提供配置开关,默认为禁用Transform功能,与开源社区版本保持一致。用户可修改配置开关,开启Transform功能,当开启Transform功能时,存在一定的安全风险。
查询单个负载均衡器的标签集合 功能介绍 查看单个负载均衡器的所有标签信息。 URI GET /v2.0/{project_id}/loadbalancers/{loadbalancer_id}/tags 表1 参数说明 参数 是否必选 参数类型 描述 project_id 是 String
附录 错误码 状态码 监控指标说明 共享型负载均衡通用信息 获取项目ID 分页查询