检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
hive conn = hive.Connection(host=JDBCServerHost, port=JDBCServerPort,database='default') cursor=conn.cursor() cursor.execute("select * from test")
能上比Java UDF更好。 使用示例 以下为复用lower()函数的示例。 [localhost:21000] > create database udfs; [localhost:21000] > use udfs; [localhost:21000] > create function
能上比Java UDF更好。 使用示例 以下为复用lower()函数的示例。 [localhost:21000] > create database udfs; [localhost:21000] > use udfs; [localhost:21000] > create function
策略中针对资源可配置各种访问条件,例如文件的读写,具体可以配置允许条件、拒绝条件以及例外条件等。 权限机制 MRS集群采用LDAP存储用户和用户组的数据;角色的定义信息保存在关系数据库中,角色和权限的对应关系则保存在组件侧。 MRS使用Kerberos进行统一认证。 用户权限校验流程大致如下: 客
hetu-cli --catalog 数据源名称 --schema 数据库名 例如执行以下命令: hetu-cli --catalog hetuengine_1 --schema default 执行以下命令,可正常查看数据库表信息或不报错即表示连接成功。 show tables; 跨集群HetuEngine数据类型映射
Hudi支持Partial Update 本章节内容仅适用于MRS 3.3.1-LTS及之后版本。 该特性允许用户使用Hudi完成部分列更新。用户可以使用同一主键下的最新数据逐一更新每行数据的不同列字段,直到整条数据完整。 场景说明 当前开源社区提供了PartialUpdateA
nitorServer实例的“业务IP”。 使用VNC方式,登录弹性云服务器。参见远程登录(VNC方式)。 所有镜像均支持Cloud-init特性。Cloud-init预配置的用户名“root”,密码为创建集群时设置的密码。首次登录建议修改。 在弹性云服务器,切换到root用户,并将安装包复制到目录“/opt”。
创建内部表时指定location,则创建失败。 开启本功能之后,创建Hive内部表不能执行location。因为对建表语句做了限制,如果数据库中已存在建表时指向非当前默认warehouse目录的表,在执行建库、表脚本迁移、重建元数据操作时需要特别注意,防止错误。 操作步骤 进入Hive服务配置页面:
群的单核价格不相同,具体计费请以MRS价格计算器中的价格为准。 弹性云服务器 计费因子:vCPU和内存,不同规格的实例类型提供不同的计算和存储能力。 包年/包月、按需计费 节点个数 * 弹性云服务器单价 * 购买时长 弹性云服务器单价请以弹性云服务器价格计算器中的价格为准。 云硬盘(系统盘和数据盘)
间,状态等信息,如图4所示。 图4 Tasks基本信息 在HBase的Web UI页面中,Table Details页面展示的是HBase存储表的概要信息,如图5所示。 图5 TableDetails 在HBase的Web UI页面中,Debug dump页面展示的是HBase的Debug信息,如图6所示。
间,状态等信息,如图4所示。 图4 Tasks基本信息 在HBase的Web UI页面中,Table Details页面展示的是HBase存储表的概要信息,如图5所示。 图5 TableDetails 在HBase的Web UI页面中,Debug dump页面展示的是HBase的Debug信息,如图6所示。
间,状态等信息,如图4所示。 图4 Tasks基本信息 在HBase的Web UI页面中,Table Details页面展示的是HBase存储表的概要信息,如图5所示。 图5 TableDetails 在HBase的Web UI页面中,Debug dump页面展示的是HBase的Debug信息,如图6所示。
Hive CBO原理介绍 Hive CBO原理介绍 CBO,全称是Cost Based Optimization,即基于代价的优化器。 其优化目标是: 在编译阶段,根据查询语句中涉及到的表和查询条件,计算出产生中间结果少的高效join顺序,从而减少查询时间和资源消耗。 Hive中实现CBO的总体过程如下:
算子操作方法示意 设置数据保存信息并运行作业 单击“下一步”,进入“输出设置”界面,根据实际场景在“存储类型”选择“CLICKHOUSE”,设置数据保存方式。 表3 输出设置参数 存储类型 参数名 说明 示例 CLICKHOUSE ClickHouse实例 在ClickHouse作
设置数据保存信息并运行作业 单击“下一步”,进入“输出设置”界面,根据实际场景在“存储类型”选择“HBASE_BULKLOAD”或“HBASE_PUTLIST”,设置数据保存方式。 表3 输出设置参数 存储类型 适用场景 参数名 说明 示例 HBASE_BULKLOAD 数据量大 HBase实例
sh <path>/hbase.jks <type> <length> <alias> /<path>/hbase.jks表示生成的jks文件存储路径。 <type>表示加密的类型,支持SMS4和AES。 <length>表示密钥的长度,SMS4支持16位长度,AES支持128位长度。
导入并配置Flink样例工程 操作场景 Flink针对多个场景提供样例工程,包含Java样例工程和Scala样例工程等,帮助客户快速学习Flink工程。 针对Java和Scala不同语言的工程,其导入方式相同。 以下操作步骤以导入Java样例代码为例。操作流程如图1所示。 图1 导入样例工程流程
Hive基于MapReduce提交任务和基于Tez提交任务流程图 Hive on MapReduce任务中包含多个MapReduce任务,每个任务都会将中间结果存储到HDFS上——前一个步骤中的reducer为下一个步骤中的mapper提供数据。Hive on Tez任务仅在一个任务中就能完成同样的处理过程,任务之间不需要访问HDFS。
间,状态等信息,如图4所示。 图4 Tasks基本信息 在HBase的Web UI页面中,Table Details页面展示的是HBase存储表的概要信息,如图5所示。 图5 TableDetails 在HBase的Web UI页面中,Debug dump页面展示的是HBase的Debug信息,如图6所示。
配置HetuEngine物化视图改写能力 开启物化视图改写能力 HetuEngine支持在System级别或者Session级别开启物化视图改写能力,开启方法如下所示: Session级别: 参考快速使用HetuEngine访问Hive数据源在HetuEngine客户端执行set