检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
访问,使能数据湖内、湖间、湖仓一站式SQL融合分析。 HetuEngine基本概念 HSBroker: HetuEngine的服务代理,用作用户租户管理校验,HetuEngine访问URL的获取等。 Coordinator:HetuEngine服务的资源协调者,负责SQL解析和优化等事务。
登录HDFS时会使用到如表1所示的配置文件。这些文件均已导入到“hadoop-examples”工程的“conf”目录。 表1 配置文件 文件名称 作用 core-site.xml 配置HDFS详细参数。 hdfs-site.xml 配置HDFS详细参数。 “conf”目录下的“log4j
本章节介绍在存算分离场景下如何配置Hive任务中集成MemArtsCC缓存,MemArtsCC会在将热点数据存储在计算侧集群,可以起到降低OBS服务端带宽的作用,利用MemArtsCC的本地存储,访问热点数据不必跨网络,可以提升Hive的数据读取效率。 前提条件 Guardian服务正常,且已开启
本章节介绍在存算分离场景下如何配置Spark任务中集成MemArtsCC缓存,MemArtsCC会在将热点数据存储在计算侧集群,可以起到降低OBS服务端带宽的作用,利用MemArtsCC的本地存储,访问热点数据不必跨网络,可以提升Spark的数据读取效率。 前提条件 Guardian服务正常,且已开
在集群“概览”页签中,查询并记录集群所绑定的委托名称。 登录IAM服务控制台。 选择“权限 > 创建自定义策略”。 策略名称:请输入策略名称。 作用范围:请选择“全局级服务”。 策略配置方式:请选择“可视化视图”。 策略内容: “允许”选择“允许”。 “云服务”选择“对象存储服务 (OBS)”。
读取Hudi数据概述 Hudi的读操作,作用于Hudi的三种视图之上,可以根据需求差异选择合适的视图进行查询。 Hudi 支持多种查询引擎Spark和Hive,具体支持矩阵见表1和表2。 表1 cow表 查询引擎 实时视图/读优化视图 增量视图 Hive Y Y Spark(SparkSQL)
在左侧导航栏选择“NodeManager > 自定义”,找到yarn-site.xml文件。 添加表1和表2中的参数为自定义参数。 根据配置文件与参数作用,在“yarn-site.xml”所在行“名称”列输入参数名,在“值”列输入此参数的参数值。 单击“+”增加自定义参数。 单击“保存”,在
IAM子用户所在的组有互斥权限导致访问Manager异常。 当前用户没有添加安全组中IP的权限,或安全组中添加的IP发生变化。 处理步骤 配置用户权限。 具体请参考创建MRS操作用户创建用户,或添加用户权限(请勿添加MRS ReadOnlyAccess权限,拥有该权限的用户仅能查看MRS的资源。)。 默认情况下,管理
在左侧导航栏选择“NodeManager > 自定义”,找到yarn-site.xml文件。 添加表1和表2中的参数为自定义参数。 根据配置文件与参数作用,在“yarn-site.xml”所在行“名称”列输入参数名,在“值”列输入此参数的参数值。 单击“+”增加自定义参数。 单击“保存”,在
ClickHouse概述 ClickHouse表引擎介绍 表引擎在ClickHouse中的作用十分关键,不同的表引擎决定了: 数据存储和读取的位置 支持哪些查询方式 能否并发式访问数据 能不能使用索引 是否可以执行多线程请求 数据复制使用的参数 其中MergeTree和Distr
SQL语句转化为具体执行计划是由SQL查询编译器决定的,同一个SQL语句可以转化成多种物理执行计划,如何指导编译器选择效率最高的执行计划,这就是优化器的主要作用。传统数据库(例如Oracle)的优化器有两种:基于规则的优化器(Rule-Based Optimization,RBO)和基于代价的优化器(Cost-Based
Manager首页,选择“运维 > 告警 > 告警”,查看是否存在告警“ALM-12014 设备分区丢失”或“ALM-12033 慢盘故障”。 是,执行2。 否,执行4。 参考ALM-12014 设备分区丢失或ALM-12033 慢盘故障告警进行处理,查看对应告警是否清除。 是,执行3。
下载MRS集群用户认证凭据文件 用户开发大数据应用程序并在支持Kerberos认证的MRS集群中运行程序时,需要准备访问MRS集群的用户认证文件。认证文件中的keytab文件可用于认证用户身份。 该任务指导管理员用户通过Manager下载用户认证文件并导出keytab文件。 修改
ClickHouse概述 ClickHouse表引擎介绍 表引擎在ClickHouse中的作用十分关键,不同的表引擎决定了: 数据存储和读取的位置 支持哪些查询方式 能否并发式访问数据 能不能使用索引 是否可以执行多线程请求 数据复制使用的参数 其中MergeTree和Distr
values) 插入一个Record,一个Record是一个设备一个时间戳下多个测点的数据。服务器需要做类型推断,可能会有额外耗时。 void insertTablet(Tablet tablet) 插入一个Tablet,Tablet是一个设备若干行非空数据块,每一行的列都相同。 void
滑次数配置项。 根据实际服务的使用情况在“系统设置 > 阈值配置 > 设备 > 主机 > CPU > CPU使用率 > CPU使用率”中更改告警阈值。 根据实际服务的使用情况在“系统设置 > 阈值配置 > 设备 > 主机 > CPU > CPU使用率 > CPU使用率”中更改告警的“平滑次数”选项。
开启Kafka高可靠功能 操作场景 如果需执行表1中的CDL数据同步任务时,需开启Kafka高可靠性功能,防止当Kafka发生故障或者Kafka重启时传输的数据丢失。 表1 使用MRS Kafka同步数据的CDL任务 数据源 目的端 描述 MySQL Hudi 该任务支持从MySQL同步数据到Hudi。
开启HBase Multicast功能 HBase Multicast特性涉及Publisher(HMaster)以及Listener(客户端)两个角色,通过设置配置“hbase.status.published”值为“true”开启。MRS 3.5.0及之后版本,Publisher端默认开启了该特性。
配置HetuEngine SQL诊断功能 HetuEngine SQL诊断功能介绍 HetuEngine QAS实例可对用户的SQL执行历史记录提供自动感知、自动学习、自动诊断服务,提升在线SQL运维能力,自动加速在线SQL分析任务,开启SQL诊断能力后,系统可实现如下能力: 自
图1展示了使用IoTDB套件的全部组件形成的整体应用架构,IoTDB特指其中的时间序列数据库组件。 图1 IoTDB结构 用户可以通过JDBC/Session将来自设备传感器上采集的时序数据和服务器负载、CPU内存等系统状态数据、消息队列中的时序数据、应用程序的时序数据或者其他数据库中的时序数据导入到本地