检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置HetuEngine物化视图的有效期与数据刷新能力 物化视图的有效期 创建物化视图的“mv_validity”字段为物化视图的有效期,HetuEngine只会使用有效期内的物化视图进行自动改写。 物化视图的数据刷新 如果需要数据定期更新,需要定时刷新物化视图,可以使用如下两种方式实现:
新增作业并执行(废弃) 功能介绍 在MRS集群中新增一个作业,并执行作业。该接口不兼容Sahara。 集群ID可参考查询集群列表接口获取。 MRS 3.x版本镜像,不支持MRS V1.1作业管理接口,需要使用V2作业管理接口。 接口约束 DistCp作业需要配置文件操作类型(file_action)。
在Hue WebUI使用文件浏览器 操作场景 用户需要使用图形化界面管理HDFS文件时,可以通过Hue完成任务。 Hue界面主要用于文件、表等数据的查看与分析,禁止通过Hue界面对操作对象进行删除等高危管理操作。如需操作,建议在确认对业务没有影响后通过各组件的相应操作方法进行处理
文件块过大导致HBase数据导入失败 问题现象 导入数据到hbase报错:NotServingRegionException。 原因分析 当一个block size大于2G时,hdfs在seek的时候会出现读取异常,持续频繁写入regionserver时出现了full gc,且时
HBase客户端连接服务端时长时间无法连接成功 在HBase连续对同一个表名做删除创建操作时出现创建表异常 HBase占用网络端口,连接数过大会导致其他服务不稳定 有210000个map和10000个reduce的HBase BulkLoad任务运行失败 使用scan命令仍然可以查询到已修改和已删除的数据
视图权限介绍 视图权限是指仅对表的视图具有查询、修改等操作的权限,不再依赖于视图所在的表的相应权限。即用户拥有视图的查询权限时,不管是否有表权限都可以进行查询。视图的权限是针对整个表而言的,不支持对其中的部分列创建视图权限。 视图权限在SparkSQL权限上的限制与列权限相似,详细如下:
在备集群的服务列表中,查看通过2.f获取的HBase实例健康状态是否为“良好”。 是,执行3.a。 否,执行2.h。 在告警列表中,查看是否有“ALM-19000 HBase服务不可用”告警产生。 是,执行2.i。 否,执行3.a。 参考ALM-19000 HBase服务不可用(2
All Maven Projects”,进行Maven项目依赖import。 图1 Reload projects 编译运行程序。 编译方式有以下两种: 方法一: 选择“Maven > 样例工程名称 > Lifecycle > clean”,双击“clean”运行maven的clean命令。
Scala样例代码 功能介绍 实时统计连续网购时间超过半个小时的女性网民信息,将统计结果直接打印或者输出写入到Kafka中。 Spark Streaming Write To Print代码样例 下面代码片段仅为演示,具体代码参见com.huawei.bigdata.spark.examples
管理MRS角色实例 用户可以在MRS启动操作状态为“停止”、“停止失败”或“启动失败”角色实例,以使用该角色实例,也可以停止不再使用或异常的角色实例,或者重启异常的角色实例,以恢复角色实例功能。 前提条件 如果通过MRS管理控制台操作,需要已完成IAM用户同步(在集群详情页的“概
提升HBase Put和Scan性能综合调优 操作场景 HBase有很多与读写性能相关的配置参数。读写请求负载不同的情况下,配置参数需要进行相应的调整,本章节旨在指导用户通过修改RegionServer配置参数进行读写性能调优。 本章节适用于MRS 3.x及之后版本。 操作步骤 登录FusionInsight
Spark client CLI介绍 Spark CLI详细的使用方法参考官方网站的描述:http://archive.apache.org/dist/spark/docs/3.3.1/quick-start.html。 常用CLI Spark常用的CLI如下所示: spark-shell
Spark client CLI介绍 Spark CLI详细的使用方法参考官方网站的描述:http://archive.apache.org/dist/spark/docs/3.3.1/quick-start.html。 常用CLI Spark常用的CLI如下所示: spark-shell
MrsObsCredentialsProvider:通过MRS云服务委托获取凭证。 com.obs.services.EcsObsCredentialsProvider:通过ECS云服务获取AK/SK信息。 com.obs.services.BasicObsCredentialsProvi
克隆MRS集群 当新建集群与某原有集群配置相同时,可使用克隆集群功能快速创建集群。 克隆MRS集群使用限制 已删除的集群仅支持删除3个月内的集群进行克隆。 克隆包周期集群时默认不自动续费。 磁盘类型为专属分布式存储的集群不允许克隆。 克隆时仅可以修改为更高集群版本,无法克隆创建历史版本集群。
磁盘容量不足”告警是否消除。 是,执行12。 否,执行15。 查看omm用户对该目录的所有上层目录是否有“rwx”或者“x”权限。(例如“/tmp/abc/”,“tmp”目录有“x”权限,“abc”目录有“rwx”权限。) 是,执行24。 否,执行16。 在root用户下,执行chmod u+rwx
级,导致开源Kylin与MRS 1.9.3版本进行对接时存在Jetty版本的兼容性问题。 按以下步骤进行操作可以完成部署和对接。 在一个ECS节点进行MRS Client安装,具体请参考集群外节点使用MRS客户端。本操作以MRS客户端安装路径为“/srv/client/”为例进行说明。
创建Strom Topology 功能介绍 一个Topology是Spouts和Bolts组成的有向无环图。 应用程序是通过storm jar的方式提交,则需要在main函数中调用创建Topology的函数,并在storm jar参数中指定main函数所在类。 代码样例 下面代码片段在com
后台查看磁盘使用情况,主要是JDBCServer服务的APP临时文件(shuffle生成的文件)太多,并且没有进行清理占用了大量内存。 原因分析 查询Core节点有大量文件的目录,发现大部分都是类似“blockmgr-033707b6-fbbb-45b4-8e3a-128c9bcfa4bf”的目录,里面
创建Storm Topology 功能介绍 一个Topology是Spouts和Bolts组成的有向无环图。 应用程序是通过storm jar的方式提交,则需要在main函数中调用创建Topology的函数,并在storm jar参数中指定main函数所在类。 代码样例 下面代码片段在com