检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MRS服务的Spark组件支持Graph功能,支持图计算作业使用图进行建模。 MRS服务的SparkSQL兼容部分Hive语法(以Hive-Test-benchmark测试集上的64个SQL语句为准)和标准SQL语法(以tpc-ds测试集上的99个SQL语句为准)。
Topology 在Storm平台上运行的一个实时应用程序,由各个组件(Component)组成的一个DAG(Directed Acyclic Graph)。一个Topology可以并发地运行在多台机器上,每台机器上可以运行该DAG中的一部分。
false [true,false] spark.sql.statistics.histogram.enabled 开启后,当统计列信息时,会生成直方图。直方图可以提高估计准确度,但是收集直方图信息会有额外工作量。
false [true,false] spark.sql.statistics.histogram.enabled 开启后,当统计列信息时,会生成直方图。直方图可以提高估计准确度,但是收集直方图信息会有额外工作量。
配置Hive单表动态视图的访问控制权限 操作场景 MRS中安全模式下Hive可以创建一个视图并控制用户访问权限,支持授权给不同的用户访问,又可以限定不同用户只能访问的不同数据。
配置Hive单表动态视图的访问控制权限 操作场景 MRS安全模式下Hive可以创建一个视图并控制用户访问权限,支持授权给不同的用户访问,又可以限定不同用户只能访问的不同数据。
图1 Hive结构 云搜索服务(Cloud Search Service,简称CSS)是一个基于Elasticsearch、OpenSearch且完全托管的在线分布式搜索服务,为用户提供结构化、非结构化文本、以及基于AI向量的多条件检索、统计、报表。
多表join场景不支持Projection特性,此种场景建议用普通物化视图实现。 父主题: ClickHouse物化视图设计
HBase操作请求次数指标中的多级图表统计如何理解? 问: HBase操作请求次数指标中的多级图表统计如何理解?
离线数据加载:通过Spark视图读取Hive外表数据并写入Doris 应用场景 通过Spark视图读取Hive外表数据写入到Doris,并按照Unique指定字段自动去重。 方案架构 离线数据可以从数据湖加载,也可以直接加载本地文件。
如何处理视图拥有者权限不足缺少函数的grant权限 问题 访问独立部署Hive数据源的视图时,如果Hive视图中使用了函数,可能会出现如下报错信息:view owner does not have sufficient privileges。
MRS集群管理员可根据需要动态修改配置参数以实现在线集群管理。 Capacity Scheduler中每个队列可以限制资源使用量。队列间的资源分配以使用量作为排列依据,使得容量小的队列有竞争优势。
compaction.schedule.enabled 否 true 是否阶段性生成压缩plan,即使关闭在线压缩的情况下也建议开启 compaction.tasks 否 10 压缩Hudi表task并行度 index.state.ttl 否 7D 索引保存的时间,默认为7天(单位
数据加载所需的内存取决于以下因素: 列数 列值大小 并发(使用“carbon.number.of.cores.while.loading”进行配置) 在内存中排序的大小(使用“carbon.sort.size”进行配置) 中间缓存(使用“carbon.graph.rowset.size
图1 HA HDFS结构 图1中各模块的功能说明如表1所示。
示例 创建视图 create view orders_by_date as select * from orders; 删除视图orders_by_date,如果视图不存在则会报错 DROP VIEW orders_by_date; 删除视图orders_by_date,使用参数IF
删除物化视图将导致删除与指定视图关联的元数据和表数据。 如果在删除物化视图之前部分数据被删除(元数据或表数据),则删除物化视图将失败。 示例 创建表。
REFRESH MATERIALIZED VIEW 语法 REFRESH MATERIALIZED VIEW materialized_view_name 描述 用于更新物化视图的数据。 需提前获取物化视图名称。 如下为示例。
SHOW CREATE VIEW 语法 SHOW CREATE VIEW view_name 描述 显示指定数据视图的SQL创建语句。
SHOW CREATE MATERIALIZED VIEW 语法 SHOW CREATE MATERIALIZED VIEW materialized_view_name 描述 显示用于创建物化视图的SQL语句。 示例 显示创建物化视图的SQL语句。