检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在线检索MRS集群日志 MRS集群Manager支持在线检索并显示组件的日志内容,用于问题定位等其他日志查看场景,管理员可在线按照节点范围或者组件角色范围快速检视所有日志,通过关键字分析快速定位问题。 本章节操作仅支持MRS 3.x及之后的版本。 在线检索日志 登录FusionInsight
使用presto客户端或jdbc、UI工具连接Presto服务,执行命令show schemas from myhive; 可以看到目标集群上的database即为配置成功。 父主题: Presto常见问题
myhive WITH ( 'type' = 'hive', 'hive-version' = '3.1.0', 'default-database' = 'default', 'cluster.name' = 'flink_hive' ); CREATE TABLE print
DBService 数据库连接数使用率 27005 数据库连接数使用率超过阈值 可能导致上层服务无法连接DBService的数据库,影响正常业务。 90% 数据目录磁盘空间使用率 27006 数据目录磁盘空间使用率超过阈值 业务进程不可用。 当数据目录磁盘空间使用率超过90%时,数据库进入只读
确的交互访问,也就是说配置文件中的cluster才是通常理解的“集群”概念。 图1 ClickHouse集群 常见的数据库系统,隐藏了表级以下的数据分区、副本存储等细节,用户是无感知的,而ClickHouse则要求用户主动来规划和定义数据分片(shard)、分区(partitio
Flink提供了HA和作业的异常恢复,并且提供版本升级时作业的暂停恢复。对于作业状态的存储,Flink依赖于state backend,作业的重启依赖于重启策略,用户可以对这两部分进行配置。配置项包括state backend类型,存储路径,重启策略等。 Kerberos-based Security:
version 1.1.0 by Apache Hive (可选)通过beeline -help命令查看关于客户端显示的设置。如下: -u <database url> the JDBC URL to connect to -n <username>
mutations system.processes system.metrics system.part_moves_between_shards system.replicas system.replicated_fetches system.replication_queue 一键转储系统表日志
ALM-12180 磁盘卡IO(2.x及以前版本) 告警解释 MRS 2.x及以前版本: 对于HDD盘,满足以下任意条件时触发告警: 系统在30s内,每3秒采集一次数据,连续10周期,svctm时延超过6秒。 系统在30s内,每3秒采集一次数据,连续10周期,磁盘队列深度(avgqu-sz)>
s/v1/sscheduler/applications/{application_id}”。 由于Superior Scheduler只存储正在运行的applicationID,所以当查看的是已结束或不存在的applicationID,服务器会响应给浏览器“404”的状态码。但
properties”配置文件,在该文件中新增以下内容: 执行GaussDB(DWS)样例 spring.datasource.dws.url=jdbc:postgresql://dws节点IP地址:8000/postgres spring.datasource.dws.username=dbadmin
properties”配置文件,在该文件中新增以下内容: 执行GaussDB(DWS)样例 spring.datasource.dws.url=jdbc:postgresql://dws节点IP地址:8000/postgres spring.datasource.dws.username=dbadmin
默认是8。 目前推荐将该值设置为逻辑CPU核数的1.5~2倍之间。 8 物理CPU使用百分比 建议预留适量的CPU给操作系统和其他进程(数据库、HBase等)外,剩余的CPU核都分配给YARN。可以通过如下配置参数进行调整。 参数 描述 默认值 yarn.nodemanager.resource
Spark同步HBase数据到CarbonData开发思路 场景说明 数据实时写入HBase,用于点查业务,数据每隔一段时间批量同步到CarbonData表中,用于分析型查询业务。 运行前置操作 安全模式下该样例代码需要读取两个文件(user.keytab、krb5.conf)。user
开启TableStatus多版本特性下,最新tablestatus文件丢失或损坏,如何恢复 问题 开启TableStatus多版本特性下,最新的tablestatus文件丢失或其他异常原因损坏的情况下,如何恢复? 回答 使用当前可得的最近的tablestatus文件进行恢复,分为如下两个场景来进行恢复:
partition=true; set hive.exec.dynamic.partition.mode=nonstrict; 执行以下命令创建一个临时表,用于存储去重后的数据: CREATE TABLE temp_user_data AS SELECT * FROM ( SELECT *, ROW_NUMBER()
数据导入至HDFS的操作。 登录MRS管理控制台。 单击集群名称进入集群详情页面。 单击“文件管理”,选择“HDFS文件列表”。 进入数据存储目录,如“bd_app1”。 “bd_app1”目录仅为示例,可以是界面上的任何目录,也可以通过“新建”创建新的目录。 单击“导入数据”,
先使用kinit命令获取kerberos认证的缓存。 使用准备集群认证用户信息中创建的开发用户执行以下命令运行客户端程序: kinit -kt keytab的存储路径 username cd python3-examples python3 pyCLI_sec.py 在命令行终端查看样例代码中的HQL所查询出的结果。例如:
为Topology内部的源数据。 Bolt 在一个Topology中接受数据然后执行处理的组件。Bolt可以执行过滤、函数操作、合并、写数据库等任何操作。 Tuple 一次消息传递的基本单元。 Stream 流是一组(无穷)元素的集合,流上的每个元素都属于同一个schema;每个
HetuEngine支持物化视图及自动刷新。 HetuEngine支持配置IoTDB数据源。 Hudi 升级到0.11.0版本。 IoTDB 新增组件,一体化收集、存储、管理与分析物联网时序数据的服务。 集群管理 支持补丁在线推送及更新。 组件版本信息 表1 MRS组件版本信息 组件 版本 CarbonData