检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用Get读取HBase数据 使用Scan读取HBase数据 使用HBase过滤器Filter 添加HBase二级索引 启用/禁用HBase二级索引 查询HBase二级索引列表 使用HBase二级索引读取数据 删除HBase二级索引 HBase Region的多点分割 HBase ACL安全配置
T去Kerberos认证,生成ST票据。 以上代码可在安全模式下的HDFS二次开发样例工程中创建KerberosTest.java,运行并查看调测结果,具体操作过程请参考HDFS开发指南(安全模式)。 父主题: MRS应用开发安全认证说明
Broker节点的主机名及端口,可通过集群FusionInsight Manager界面中选择“集群 > 服务 > Kafka > 实例”查看。 SECURITY_PROTOCOL为连接Kafka的协议类型,在本示例中,配置为“SASL_PLAINTEXT”。 “TOKENID”和“HMAC”参考Kafka
oop存储技术上难以实现或无法实现的应用。 Kudu的应用场景有: 需要最终用户立即使用新到达数据的报告型应用 同时支持大量历史数据查询和细粒度查询的时序应用 使用预测模型并基于所有历史数据定期刷新预测模型来做出实时决策的应用 Kudu与其他组件的关系 Kudu与HBase的关系:
视图: 将视图v分别赋给用户hiveuser1、hiveuser2,当hiveuser1查询视图v时,“current_user()”被自动转化为hiveuser1,当hiveuser2查询视图v时,“current_user()”被自动转化为hiveuser2: create view
算法。 流式处理(Streaming Processing):支持秒级延迟的流式处理,可支持多种外部数据源。 查询分析(Query Analysis):支持标准SQL查询分析,同时提供DSL(DataFrame), 并支持多种外部输入。 Apache Spark部件架构如图1所示。本文档重点介绍Spark、Spark
op存储技术上难以实现或无法实现的应用。 Kudu的应用场景有: 需要最终用户立即使用新到达数据的报告型应用。 同时支持大量历史数据查询和细粒度查询的时序应用。 使用预测模型并基于所有历史数据定期刷新预测模型来做出实时决策的应用。 Kudu开发接口简介 Kudu本身是由C++语言
from_table1(a int,b string); create table in_table1(a int,b string); --查询表名以"show"开始的表的详细信息 show table extended like 'show*';
Broker节点的主机名及端口,可通过集群FusionInsight Manager界面中选择“集群 > 服务 > Kafka > 实例”查看。 SECURITY_PROTOCOL为连接Kafka的协议类型,在本示例中,配置为“SASL_PLAINTEXT”。 “TOKENID”和“HMAC”参考Kafka
00之间的值。 200 hfile.block.cache.size HBase缓存区大小,主要影响查询性能。根据查询模式以及查询记录分布情况来决定缓存区的大小。如果采用随机查询使得缓存区的命中率较低,可以适当降低缓存区大小。 当offheap关闭时,默认值为“0.25”。当offheap开启时,默认值是“0
WebUI、刷新队列、设置NodeLabel、主备倒换等)的权限。 队列管理员:拥有在YARN集群上所管理队列的修改和查看权限。 普通用户:拥有在YARN集群上对自己提交应用的修改和查看权限。 自研超级调度器Superior Scheduler原理 Superior Scheduler是一个专门为Hadoop
创建HBase客户端连接 创建HBase表 创建HBase表Region 向HBase表中插入数据 创建HBase表二级索引 基于二级索引查询HBase表数据 修改HBase表 使用Get API读取HBase表数据 使用Scan API读取HBase表数据 使用Filter过滤器读取HBase表数据
向test表中一次性插入多行数据: INSERT INTO test VALUES (1, 2), (3, 4); 向test表中导入一个查询语句结果: INSERT INTO test (c1, c2) SELECT * from test2; 父主题: Doris常见SQL语法说明
alias or column reference 'xxx'. 解决方案:set hive.cbo.enable=true; Hive SQL子查询编译报错:Unsupported SubQuery Expression 'xxx': Only SubQuery expressions
${table_name}_ro; 读优化视图读取(Spark dataSource API为例):和读普通的dataSource表类似。 必须指定查询类型QUERY_TYPE_OPT_KEY 为QUERY_TYPE_READ_OPTIMIZED_OPT_VAL spark.read.format("hudi")
${table_name}_ro; 读优化视图读取(Spark dataSource API为例):和读普通的dataSource表类似。 必须指定查询类型QUERY_TYPE_OPT_KEY为QUERY_TYPE_READ_OPTIMIZED_OPT_VAL spark.read.format("hudi")
alias or column reference 'xxx'. 解决方案:set hive.cbo.enable=true; Hive SQL子查询编译报错:Unsupported SubQuery Expression 'xxx': Only SubQuery expressions
解决的问题 MRS 2.0.6.1 修复问题列表: MRS Manager 优化补丁机制 解决偶现获取监控指标为空的问题 解决DLF+Presto查询时字段中包含换行符,数据和文件显示问题。 补丁兼容关系 无 安装补丁的影响 安装MRS 2.0.6.1补丁期间会重启MRS Manager
tablename(入湖时需提供); 单条数据大小 = 平均 1KB(华为建议通过select * from tablename limit 100将查询结果粘贴在notepad++中得出100条数据的大小再除以100得到单条平均大小) 单表数据量大小(G) = 单表数据总条数*单表数据大小/1024/1024
负责记录审计日志。在Manager的UI上每一个非查询类操作,都有对应的审计日志。 PMS 性能监控模块,搜集每一个OMA上的性能监控数据并提供查询。 CEP 汇聚功能模块。比如将所有OMA上的磁盘已用空间汇总成一个性能指标。 FMS 告警模块,收集每一个OMA上的告警并提供查询。 OMM Agent O