检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
接OBS文件系统时,也能够支持TASK容错,但是中间数据仍然落盘至HDFS临时目录中。 集群默认会在查询结束时完成缓冲区文件清理,且每小时检测并清理存在超期1天的残留缓冲区文件,可通过如下操作关闭周期性清理功能: 登录Manager,选择“集群 > 服务 > HetuEngine
IoTDBServer所在节点的IP地址可在MRS集群管理控制台的“组件管理”界面,单击“IoTDB”,选择“实例”页签查看。 使用SQL语句注册该UDF,语法如下: CREATE FUNCTION <UDF-NAME> AS '<UDF-CLASS-FULL-PATHNAME>' 例如,注册名称为“example”的UDF的命令为:
ClickHouse客户端。 约束限制 当前ClickHouse不支持和开启安全模式的Kafka集群进行对接。 Kafka引擎表使用语法说明 语法 CREATE TABLE [IF NOT EXISTS] [db.]table_name [ON CLUSTER cluster] (
UUID JSON JSON 添加GAUSSDB数据源约束 不支持如下语法:GRANT、REVOKE、SHOW GRANTS、SHOW ROLES、SHOW ROLE GRANTS。 UPDATE和DELETE语法不支持筛选条件子句中包含跨catalog的条件,例如:UPDATE mppdb
使用UDF进行查询 支持的基础SQL语法 SLIMIT / SOFFSET LIMIT / OFFSET NON ALIGN 支持值过滤 支持时间过滤 UDF查询目前不支持对对齐时间序列“(Aligned Timeseries)”进行查询,若在SELECT子句中选择的序列中包含对齐时间序列时,会提示错误。
checkavailable.log Kafka服务健康状态检查日志。 checkInstanceHealth.log Broker实例健康状态检测日志。 kafka-authorizer.log Broker鉴权日志。 kafka-root.log Broker基础日志。 cleanup
需特殊操作,MRS运维相关人员会及时介入处理并恢复。 安装完成后必须的手动操作 支持HDFS单副本检测能力 MRS 3.1.0.0.2补丁以及之后的补丁中,会增加HDFS单副本检测和告警能力,新增是否允许写入单副本数据配置项dfs.single.replication.enabl
DeathWatch检测机制参数等。 SSL: 当需要配置安全Flink集群时,需要配置SSL相关配置项,配置项包括SSL开关,证书,密码,加密算法等。 Network communication (via Netty): Flink运行Job时,Task之间的数据传输和反压检测都依赖Ne
[编号]”。最多保留最近的20个压缩文件,压缩文件保留个数和压缩文件阈值可以配置。 表1 Guardian日志列表 日志类型 日志文件名 描述 是否支持Manager在线检索 运行日志 token-server.log Guardian服务运行时的日志。 是 startDetail.log Guardian服务预启动日志。
未创建表,在查询时会遇到无表信息的错误提示。 no delay:立刻生效 在删除表或修改表语法中加上no delay,表示立即删除,否则会等8分钟以后进行删除,如果未加no delay语法,删除表后需要立即创建同名的表名可能会遇到错误,创建不成功。 order by:排序字段 查
delta_commits 选填 MOR表Compaction计划触发条件。 200 compaction.async.enabled 必填 是否开启在线压缩。将compaction操作转移到sparksql运行,提升写性能。 FALSE hive_sync.enable 选填 是否向Hive同步表信息。
您已经对弹性云服务器的使用方式和MRS服务开发组件有一定的了解。 您已经对Maven构建方式具备一定的认识和使用方法有一定了解。 您已经对Java语法具备一定的认识。 MRS组件应用开发流程说明 通常MRS组件应用开发流程如下所示,各组件应用的开发编译操作可参考组件开发指南对应章节。 图1
集群的每个节点上执行如下语法: ALTER TABLE table_dest REPLACE PARTITION partition_expr FROM table_source; 如果目标表不存在该分区,将分区增加到目标表,到集群的每个节点上执行如下语法: ALTER TABLE
的日志。 sendAlarm.log HBase告警检查脚本上报告警信息日志。 hbase-haCheck.log HMaster主备状态检测日志。 stop.log HBase服务进程启停操作日志。 审计日志 hbase-audit-<process_name>.log HBase安全审计日志。
Hive开启并发执行时,偶现insert执行结果无数据。 消除Kudu Tserver版本号显示的dirty。 Kudu支持慢盘隔离。 Manager慢盘检测脚本日志打印增加压缩归档功能。 补丁兼容关系 MRS 3.1.0.0.16补丁包中包含所有MRS 3.1.0版本单点问题修复补丁。 父主题:
capacity.preemption.monitoring_interval 根据策略监控的时间间隔,单位为毫秒。如果将该参数设置为更大的值,容量检测将不那么频繁地运行。 3000 yarn.resourcemanager.monitor.capacity.preemption.max_wait_before_kill
使用UDF进行查询 支持的基础SQL语法 SLIMIT / SOFFSET LIMIT / OFFSET NON ALIGN 支持值过滤 支持时间过滤 UDF查询目前不支持对对齐时间序列“(Aligned Timeseries)”进行查询,若在SELECT子句中选择的序列中包含对齐时间序列时,会提示错误。
在以上场景中,为使HMaster更早完成恢复任务,建议增加以下配置参数,否则Master将退出导致整个恢复进程被更大程度地延迟。 增加namespace表在线等待超时周期,保证Master有足够的时间协调RegionServer workers split任务,避免一次次重复相同的任务。 “hbase
/s/m/h/d。 60s 否 akka.watch.threshold DeathWath失败检测阈值,较小的数值容易把正常TaskManager标记为失败,较大的值增加了失败检测的时间。 12 否 akka.tcp.timeout 发送连接TCP超时时间,如果经常发生满网络环
的日志。 sendAlarm.log HBase告警检查脚本上报告警信息日志。 hbase-haCheck.log HMaster主备状态检测日志。 stop.log HBase服务进程启停操作日志。 审计日志 hbase-audit-<process_name>.log HBase安全审计日志。