检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
作。 查看已创建的索引 listIndices() 该API可用于列出给定表中的所有索引。 无 基于HBase本地二级索引查询数据 在具有索引的用户表中,可以使用Filter来查询数据。对于创建单索引和组合索引的用户表,使用过滤器查询的结果与没有使用索引的表相同,但数据查询性能高于没有使用索引的表。
HetuEngine计算实例查询时延超过阈值 本章节适用于MRS 3.5.0及以后版本。 告警解释 系统每30秒周期性检测HetuEngine计算实例的查询时延,当检测到HetuEngine计算实例的查询时延大于等于60S时产生该告警。 HetuEngine计算实例的查询时延小于60S时,告警清除。
Spark Structured Streaming样例程序开发思路 场景说明 在Spark应用中,通过使用StructuredStreaming调用Kafka接口来获取单词记录,然后把单词记录分类统计,得到每个单词记录数。 数据规划 StructuredStreaming样例工
Spark Structured Streaming样例程序开发思路 场景说明 在Spark应用中,通过使用StructuredStreaming调用Kafka接口来获取单词记录,然后把单词记录分类统计,得到每个单词记录数。 数据规划 StructuredStreaming样例工
return Arrays.asList(x.split(" ")).iterator(); } }, Encoders.STRING()).groupBy("value").count(); //开始运行将运行计数打印到控制台的查询。
JSON表中有破损数据导致Hive查询异常 用户问题 在Hive客户端查询JSON数据,JSON表中有破损数据导致查询异常: 在Hive客户端上使用默认开源的JSON序列化建表语句创建表: create external table if not exists test ( name
设置的值越小越有利于资源抢占。 0 yarn.resourcemanager.monitor.capacity.preemption.natural_termination_factor 设置抢占目标,Container只会抢占所配置比例的资源。 示例,如果设置为0.5,则在5*“yarn
使用Hive CBO功能优化多表查询效率 操作场景 在Hive中执行多表Join时,Hive支持开启CBO(Cost Based Optimization),系统会自动根据表的统计信息,例如数据量、文件数等,选出合适计划提高多表Join的效率。Hive需要先收集表的统计信息后才能使CBO正确的优化。
Hue上执行Impala SQL查询中文报错 问题现象 Hue上执行Impala SQL,查询SQL结果中包含中文字符,出现报错“UnicodeDecodeError: 'utf-8' codec can't decode byte in position 0: unexpected
Spark Structured Streaming对接Kafka样例程序(Scala) 功能介绍 使用Structured Streaming,从Kafka中读取广告请求数据、广告展示数据、广告点击数据,实时获取广告有效展示统计数据和广告有效点击统计数据,将统计结果写入kafka中。
Spark Structured Streaming状态操作样例程序(Scala) 功能介绍 在Spark结构流应用中,跨批次统计每个session期间发生了多少次event以及本session的开始和结束timestamp;同时输出本批次被更新状态的session。 代码样例
版本元数据查询 展示MRS版本列表 查询MRS集群版本可用的规格 父主题: API V2
Structured Streaming程序 场景说明 Java样例代码 Scala样例代码 父主题: 开发Spark应用
Spark Structured Streaming样例程序开发思路 场景说明 在Spark应用中,通过使用StructuredStreaming调用Kafka接口来获取单词记录,然后把单词记录分类统计,得到每个单词记录数。 数据规划 StructuredStreaming样例工
Spark Structured Streaming状态操作样例程序(Scala) 功能介绍 在Spark结构流应用中,跨批次统计每个session期间发生了多少次event以及本session的开始和结束timestamp;同时输出本批次被更新状态的session。 代码样例
Spark Structured Streaming对接Kafka样例程序(Scala) 功能介绍 使用Structured Streaming,从kafka中读取广告请求数据、广告展示数据、广告点击数据,实时获取广告有效展示统计数据和广告有效点击统计数据,将统计结果写入kafka中。
配置Structured Streaming使用RocksDB做状态存储 本章节仅适用于MRS 3.3.0及之后版本。 配置场景 当大量的状态信息存储在默认的HDFS BackedStateStore,导致JVM GC占用大量时间时,可以通过如下配置,选择RocksDB作为状态后端。
Spark Structured Streaming样例程序开发思路 场景说明 在Spark应用中,通过使用StructuredStreaming调用Kafka接口来获取单词记录,然后把单词记录分类统计,得到每个单词记录数。 数据规划 StructuredStreaming样例工
在Hue界面中查询Oozie作业结果 操作场景 提交作业后,可以通过Hue界面查看具体作业的执行情况。 操作步骤 访问Hue WebUI,请参考访问Hue WebUI界面。 单击菜单左侧的,在打开的页面中可以查看Workflow、计划、Bundles任务的相关信息。 默认显示当前集群的所有作业。
Presto查询Hive表无数据 用户问题 使用Presto查询Hive表无数据。 问题现象 通过Tez引擎执行union相关语句写入的数据,Presto无法查询。 原因分析 由于Hive使用Tez引擎在执行union语句时,生成的输出文件会保存在HIVE_UNION_SUBDI