检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
贝的文件列表。 -filters 指定一个本地文件,其文件内容是多条正则表达式。当被拷贝的文件与某条正则表达式匹配时,则该文件不会被拷贝。 -async 异步运行distcp命令。 -atomic {-tmp <tmp_dir>} 指定一次原子性的拷贝,可以添加一个临时目录的选项,作为拷贝过程中的暂存目录。
x及后续版本。 参数入口 请参考修改集群服务配置参数进入Kafka服务参数“全部配置”页面。 常用参数 表1 参数说明 配置参数 说明 缺省值 log.dirs Kafka数据存储目录列表,以逗号分隔多个目录。 %{@auto.detect.datapart.bk.log.logs} KAFKA_HEAP_OPTS
连接postgresql或者gaussdb时报错 问题 连接postgresql或者gaussdb时报错。 回答 场景一:(import场景)使用sqoop import命令抽取开源Postgre到MRS HDFS或Hive等。 问题现象: 使用sqoop命令查询postgre表可以,但是执行sqoop
Checkpoint间隔时长是指多长时间触发一次Checkpoint操作,启动Checkpoint后执行时长超过Checkpoint超时时长会导致作业失败。 CDC场景下Hudi读写表需要开启Changelog CDC场景下为保障Flink计算的准确,需要在Hudi表中保留+I、+U、-U、-D
HDFS目录)过大的作业上报事件。 本章节内容仅适用于MRS 3.5.0及之后版本。 监控的HDFS目录请参见表1。 表1 监控HDFS目录 组件 监控HDFS目录 阈值 Hive hdfs://hacluster/tmp/hive-scratch/*/ 400G Hetu hd
FlinkSQL ClickHouse表开发规则 提前在ClickHouse中创建表 Flink作业在ClickHouse中找不到对应表会报错,所以需提前在ClickHouse中创建好对应的表。 Flink写ClickHouse不支持删除操作 由于不支持删除操作,Flink无法对
--删除表t1 drop table t1 SYNC; 在删除复制表时,因为复制表需要在Zookeeper上建立一个路径,存放相关数据。ClickHouse默认的库引擎是原子数据库引擎,删除Atomic数据库中的表后,它不会立即删除,而是会在480秒后删除。在删除表时,加上SYNC字段,即可解决该问题,例如:drop
贝的文件列表。 -filters 指定一个本地文件,其文件内容是多条正则表达式。当被拷贝的文件与某条正则表达式匹配时,则该文件不会被拷贝。 -async 异步运行distcp命令。 -atomic {-tmp <tmp_dir>} 指定一次原子性的拷贝,可以添加一个临时目录的选项,作为拷贝过程中的暂存目录。
ClickHouse数据导入 配置ClickHouse对接RDS MySQL数据库 配置ClickHouse对接OBS源文件 配置ClickHouse对接HDFS源文件(MRS 3.2.0-LTS) 配置ClickHouse对接HDFS源文件(MRS 3.3.0-LTS及之后版本)
据、使用批量Get读取数据、使用Scan读取数据,以及基于二级索引查询。它能够同时读取主备集群数据,减少查询毛刺,具体表现为: 高成功率:双并发读机制,保证每一次读请求的成功率。 可用性:单集群故障时,查询业务不中断。短暂的网络抖动也不会导致查询时间变长。 通用性:双读特性不支持双写,但不影响原有的实时写场景。
SELECT查询表数据 本章节主要介绍ClickHouse查询表数据的SQL基本语法和使用说明。 基本语法 SELECT [DISTINCT] expr_list [FROM [database_name.]table | (subquery) | table_function]
Time" :同步表起始时间。 “WhiteList”:输入数据库中的表。 “BlackList”: 输入不抓取数据的数据库中的表。 “Topic Table Mapping”: 如果“Connect With Hudi”选择“是”,则该参数为必填项。 第一个框输入表名(例如“test”)。
Datasource表优化 操作场景 将datasource表的分区消息存储到Metastore中,并在Metastore中对分区消息进行处理。 优化datasource表,支持对表中分区执行增加、删除和修改等语法,从而增加与Hive的兼容性。 支持在查询语句中,把分区裁剪并下压
字符或字节,转换成多个输入字段。 表输入:将关系型数据库表的指定列按顺序转换成同等数量的输入字段。 HBase输入:将HBase表的指定列转换成同等数量的输入字段。 HTML输入:将HTML文件中的元素转换成输入字段。 Hive输入:将Hive表的指定列转换成同等数量的输入字段。
字符或字节,转换成多个输入字段。 表输入:将关系型数据库表的指定列按顺序转换成同等数量的输入字段。 HBase输入:将HBase表的指定列转换成同等数量的输入字段。 HTML输入:将HTML文件中的元素转换成输入字段。 Hive输入:将Hive表的指定列转换成同等数量的输入字段。
使用Loader Loader数据导入导出概述 Loader用户权限管理 上传MySQL数据库连接驱动 创建Loader数据导入作业 创建Loader数据导出作业 管理Loader作业 Loader运维管理 Loader算子帮助 客户端工具说明 Loader常见问题
查看/etc/ssh/sshd_config配置文件状态。 打开FusionInsight Manager页面,在告警列表中,单击此告警所在行的,查看告警详情中涉及的主机列表。 以omm用户登录主OMS管理节点。管理节点的主备状态及对应IP地址可在FusionInsight Manager主机管理界面查看。
优点:操作简单,支持cow表和mor表。 缺点:并发能力不足。 当Hudi表处于实时写入状态,并发执行delete/drop partition命令容易导致实时入库作业失败。 call clean_data命令删除历史数据 命令功能 call clean_data的功能是用来删除mor表的历史数据。
ClickHouse系统表日志过大时如何添加定期删除策略? 问题现象 客户使用ClickHouse,系统表产生的日志过大,一次性删除会耗费较长时间,客户可以添加定期删除策略,即添加TTL。 处理步骤 MRS 3.3.0及之后版本,在Manager页面,选择“集群 > 服务 > ClickHouse>
选择“到服务器 > 其他数据库(JDBC)”,输入URL和已创建的“人机”用户的用户名及密码,单击“登录”。 支持HSFabric方式和HSBroker方式连接,URL格式详情可参考表1。 图2 使用Tableau访问HetuEngine 登录成功后,将要操作的数据表拖到右边操作窗口,刷新数据。