检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
智能物化视图包括以下几个功能: 自动推荐物化视图 自动创建物化视图 自动刷新物化视图 自动删除物化视图 使用HetuEngine智能物化视图前提条件 集群运行正常并至少安装一个QAS实例。
访问EFKA WebUI界面默认初始账号密码admin/123456 登录后可以查看Kafka集群监控页面、Topic监控页面、Consumer监控页面,例如: 图3 Kafka集群监控 图4 Topic监控 图5 Consumer监控 Kafka Eagle对接常见问题 问题现象
删除物化视图表。 重新创建新转化关系的物化视图。 父主题: ClickHouse物化视图设计
图2 Spark应用运行架构 Spark采用Master和Worker的模式,如图3所示。
图解MapReduce服务
图1 错误信息 回答 HDFS上ssl.jceks文件权限不足,导致建表失败。
DDL (数据定义语言):可以动态地创建、修改或删除数据库、表和视图,而无须重启服务。 DML(数据操作语言):可以动态查询、插入、修改或删除数据。 权限控制:可以按照用户粒度设置数据库或者表的操作权限,保障数据的安全性。
OBS路径:obs://sparksql/input/sparksql-test.txt HDFS路径:/user/userinput 图1 从OBS导入数据至HDFS 提交Spark SQL语句。 在MRS控制台选择“作业管理”,具体请参见运行Spark作业。
所有的“Action Node”以有向无环图DAG(Direct Acyclic Graph)的模式部署运行。所以在“Action Node”的运行步骤上是有方向的,当上一个“Action Node”运行完成后才能运行下一个“Action Node”。
父主题: 配置HetuEngine物化视图
spark-beeline查询Hive视图报错 用户问题 MRS 3.1.2版本,spark-beeline查询Hive视图报错,报错如下: 根据提示set spark.sql.hive.manageFilesourcePartitions=false后,查不到数据(但是实际在Hive
图1 Hive结构 云搜索服务(Cloud Search Service,简称CSS)是一个基于Elasticsearch、OpenSearch且完全托管的在线分布式搜索服务,为用户提供结构化、非结构化文本、以及基于AI向量的多条件检索、统计、报表。
配置HetuEngine物化视图的有效期与数据刷新能力 物化视图的有效期 创建物化视图的“mv_validity”字段为物化视图的有效期,HetuEngine只会使用有效期内的物化视图进行自动改写。
图1 Background监控信息 在Background线程数监控中,线程数目最近半小时时间内是否有异常偏高(默认队列数值为100,偏高数值>=90)。 是,执行3。 否,执行5。 调整提交到background线程池的任务数(比如,取消一些后台性能低,耗时长的任务)。
图1 仅下载客户端的配置文件 登录MRS Manager的主管理节点。 在MRS控制台,选择“现有集群”,单击集群名称,在“节点管理”页签中查看节点名称,名称中包含“master1”的节点为Master1节点,名称中包含“master2”的节点为Master2节点。
选择“集群 > 待操作集群的名称 > 服务 > HBase ”,单击图表区域右上角的下拉菜单,选择“定制 > 服务 > 处在RIT状态的region数”,单击“确定”,查看该图表中“处在RIT状态达到阈值时长的region数”监控项是否在连续3个检测周期内检测到值。
图1 创建集群连接 表1 创建集群连接信息 参数名称 参数描述 集群连接名称 集群连接的名称。 描述 集群连接名称描述信息。 版本 选择集群版本。 是否安全版本 是,安全集群选择是。需要输入访问用户名和上传用户凭证; 否,非安全集群选择否。
配置Hive单表动态视图的访问控制权限 操作场景 MRS中安全模式下Hive可以创建一个视图并控制用户访问权限,支持授权给不同的用户访问,又可以限定不同用户只能访问的不同数据。
配置Hive单表动态视图的访问控制权限 操作场景 MRS安全模式下Hive可以创建一个视图并控制用户访问权限,支持授权给不同的用户访问,又可以限定不同用户只能访问的不同数据。
false [true,false] spark.sql.statistics.histogram.enabled 开启后,当统计列信息时,会生成直方图。直方图可以提高估计准确度,但是收集直方图信息会有额外工作量。