检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用Tableau访问MRS HetuEngine 应用场景 Tableau是一款商业智能工具软件,将可信的数据转化为可行的见解。借助直观的人工智能分析平台,帮助人们查看和理解数据并根据数据采取行动,让每一次决策都更加明智。 本章节以Tableau Desktop 2022.2版
oldap参数配置一览表 参数名 示例 说明 Ldap服务监听端口 21750 LDAP服务端口号。 重置LDAP账户密码 - LDAP用于数据管理、同步和状态检测的机机账户(cn=root,dc=hadoop,dc=com和cn=pg_search_dn,ou=Users,dc=hadoop,dc=com)。
使用FineBI访问MRS HetuEngine 应用场景 FineBI是一款商业智能产品,针对企业信息化遇到的困难,为企业提供专业的商业智能解决方案。 本章节以FineBI 5.1.9版本为例,讲解如何使用FineBI访问安全模式MRS集群的HetuEngine。 方案架构 出
监控开关由参数“dfs.namenode.directory-items.monitor.enabled”指定,默认值为“true”,即该检测默认开启。 告警属性 告警ID 告警级别 是否自动清除 14020 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名
capacity.preemption.monitoring_interval 根据策略监控的时间间隔,单位为毫秒。如果将该参数设置为更大的值,容量检测将不那么频繁地运行。 3000 yarn.resourcemanager.monitor.capacity.preemption.max_wait_before_kill
保障意外掉电时的数据可靠性,不论是单节点意外掉电,还是整个集群意外断电,恢复供电后系统能够正常恢复业务,除非硬盘介质损坏,否则关键数据不会丢失。 硬盘亚健康检测和故障处理,对业务不造成实际影响。 自动处理文件系统的故障,自动恢复受影响的业务。 自动处理进程和节点的故障,自动恢复受影响的业务。 自动处理网络故障,自动恢复受影响的业务。
query_time bigint 查询执行时间,单位为ms。 scan_bytes bigint 查询总共扫描的字节数。 scan_rows bigint 查询总共扫描的行数。 return_rows bigint 查询结果返回的行数。 stmt_id int 自增ID。 is_query
群进行巡检时,请通过该功能授权后,联系运维人员进行巡检并获取巡检结果。MRS支持的所有巡检脚本见界面中的巡检脚本列表,MRS目前仅支持证书检测脚本,用来检查集群中的证书是否过期。 开启巡检授权 登录MRS控制台。 单击集群名称进入集群详情页面。 选择“巡检授权”页签。 配置巡检参数。
/var/log/Bigdata/clickhouse/clickhouseServer/checkDisk.log ClickHouse磁盘检测日志文件路径。 /var/log/Bigdata/clickhouse/clickhouseServer/backup.log Click
如果查询等待时间超过该值,那么查询会被拒绝,时间单位为毫秒。 开启内存软隔离 开启 关闭 租户是否可以超量占用内存资源 如果关闭内存软隔离,系统检测到租户内存使用超出限制后将立即取消租户组内内存占用最大的若干个任务。 如果开启内存软隔离,若该系统有空闲内存资源则该租户在超出内存的限制后
checkavailable.log Kafka服务健康状态检查日志。 checkInstanceHealth.log Broker实例健康状态检测日志。 kafka-authorizer.log Broker鉴权日志。 kafka-root.log Broker基础日志。 cleanup
设备 设备指的是在实际场景中拥有传感器的装置。在IoTDB当中,所有的传感器都应有其对应的归属的设备。 传感器 传感器是指在实际场景中的一种检测装置,它能感受到被测量的信息,并能将感受到的信息按一定规律变换成为电信号或其他所需形式的信息输出并发送给IoTDB。在IoTDB当中,存储
考表2。 表2 HetuEngine数据源自定义配置参数 名称 描述 取值样例 hsfabric.health.check.time 设置检测HSFabric实例状态的周期间隔,单位:秒 60 hsfabric.subquery.pushdown 开启跨域查询下推参数,默认开启。
Key封装成一个List<Get>,然后请求这个列表以获取数据的查询方式。该方式能避免每个Row Key都发起一次请求。 HBase单表查询范围扫描优化 HBase单表查询范围扫描优化是指根据HBase的列的谓词条件尝试自动推断rowkey的起止地址,在tableScan的时候设置hbase scan起止地址从而提高访问性能。
单位:byte。 134217728(即128M) spark.files.openCostInBytes 打开文件的预估成本, 按照同一时间能够扫描的字节数来测量。当一个分区写入多个文件时使用。高估更好,这样小文件分区将比大文件分区更先被调度。 4M 父主题: Spark SQL性能调优
SER>-<DATE>-<PID>-gc.log 垃圾回收日志。 yarn-haCheck.log ResourceManager主备状态检测日志。 yarn-service-check.log Yarn服务健康状态检查日志。 yarn-start-stop.log Yarn服务启停操作日志。
MR服务安装后启动前的工作日志。 yarn-cleanup.log MR服务卸载时候的清理日志。 mapred-service-check.log MR服务健康状态检测日志。 container_{$contid} Container日志。 hadoop-<SSH_USER>-<process_name>-<hostname>
接OBS文件系统时,也能够支持TASK容错,但是中间数据仍然落盘至HDFS临时目录中。 集群默认会在查询结束时完成缓冲区文件清理,且每小时检测并清理存在超期1天的残留缓冲区文件,可通过如下操作关闭周期性清理功能: 登录Manager,选择“集群 > 服务 > HetuEngine
MR服务安装后启动前的工作日志。 yarn-cleanup.log MR服务卸载时候的清理日志。 mapred-service-check.log MR服务健康状态检测日志。 container_{$contid} Container日志。 hadoop-<SSH_USER>-<process_name>-<hostname>
SER>-<DATE>-<PID>-gc.log 垃圾回收日志。 yarn-haCheck.log ResourceManager主备状态检测日志。 yarn-service-check.log Yarn服务健康状态检查日志。 yarn-start-stop.log Yarn服务启停操作日志。