检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Flume数据采集慢 问题现象 Flume启动后,Flume数据采集慢。 原因分析 Flume堆内存设置不合理,导致Flume进程一直处于频繁GC。
答: MapReduce服务(MapReduce Service)为客户提供ClickHouse、Spark、Flink、Kafka、HBase等Hadoop生态的高性能大数据引擎,支持数据湖、数据仓库、BI、AI融合等能力,完全兼容开源,快速帮助客户上云构建低成本、灵活开放、安全可靠
ClickHouse数据导入导出 使用ClickHouse客户端导入导出数据 本章节主要介绍使用ClickHouse客户端导入导出文件数据的基本语法和使用说明。
内部表,如果对数据的处理都由Hive完成,则应该使用内部表。在删除内部表时,元数据和数据一起被删除。 外部表,如果数据要被多种工具(如Pig等)共同处理,则应该使用外部表,可避免对该数据的误操作。删除外部表时,只删除掉元数据。
执行以下命令,删除ZooKeeper上的副本数据。 deleteall zookeeper_path/replicas/replica_num 使用ClickHouse客户端登录问题节点,重新执行create创建集群ReplicatedMergeTree引擎表。
执行deleteall /recovering删除垃圾数据。然后执行quit退出ZooKeeper连接。 执行该命令会导致数据丢失,请谨慎操作。 执行hdfs dfs -rm -f -r /user/hbase/backup删除临时数据。
执行deleteall /recovering删除垃圾数据。然后执行quit退出ZooKeeper连接。 执行该命令会导致数据丢失,请谨慎操作。 执行hdfs dfs -rm -f -r /user/hbase/backup删除临时数据。
MRS服务是否支持安全删除的能力? 问: MRS服务是否支持安全删除(删除后防止非法恢复)的能力? 答: MRS集群目前仅支持恢复用户备份的数据,即MRS服务的删除都是安全删除。 父主题: 周边生态对接类
Hive表有新增:请选择“作业管理”的“表/文件迁移”页签,在Hive迁移作业的“操作”列单击“编辑”,选择新增的数据表进行数据迁移。 Hive表有删除或已有表的数据结构有修改:请在目的端集群中手动删除对应表或手动更新变更的表结构。 父主题: 数据迁移
在MRS控制台,单击“数据连接”。 在数据连接列表中根据集群所关联的数据连接ID查找对应数据连接。 在对应数据连接的“操作”列单击“编辑”,查看该数据连接所连接的RDS实例及数据库。 父主题: 组件配置类
查看是否存在除“kafka-logs”目录外的其他文件,并判断是否可以删除或者迁移。 是,删除或者迁移相关数据,然后执行8。 否,执行4。
单击“数据源”,在数据源列表中可以查看数据源名称、数据源描述、数据源类型和创建时间等信息,在“操作”列下也可以编辑和删除数据源。 HetuEngine服务在安装时已经将共部署的Hive数据源默认实现对接,数据源名称为“hive”,不可删除。 父主题: 使用HetuEngine
如果确认删除,在弹出的“删除作业”窗口中输入“DELETE ”,单击“确定”。 此处只能删除单个作业。 勾选多个作业,单击作业列表左上方的“删除”。如果确认删除,在弹出的“删除作业”窗口中输入“DELETE ”,单击“确定”。 可以删除一个、多个或者全部作业。
CDL仅支持抓取非系统表下的增量数据,MySQL、PostgreSQL等数据库的内置数据库不支持抓取增量数据。 从Hudi同步数据到DWS或ClickHouse任务中,在Hudi中物理删除的数据目的端不会同步删除。
cat /tmp/t.txt |awk '{print $8}' 图3 文件路径 使用如下命令删除该文件。 hdfs dfs -rm $(cat /tmp/t.txt |awk '{print $8}') 查看确认该文件已被删除。
使用HDFS异步删除特性 操作场景 HDFS异步删除特性适用于存在删除大目录的场景,通过异步以及流量控制的方式删除block块的方式,能有效降低连续持有锁的时间。 该操作仅适用于MRS 3.5.0及之后版本。
删除指定集群的标签 功能介绍 删除特定集群的标签。 接口约束 无 调用方法 请参见如何调用API。
/user/test 是否执行前删除文件 (适用于MRS 3.5.0及以后版本) 作业运行前是否删除根据文件名标识生成的文件,以做到数据可以重入。 false(默认值):作业运行前不执行删除文件动作。
操作步骤 把旧集群中的用户数据迁移至新集群中。迁移数据需单表手动同步新旧集群的数据,通过Export、distcp、Import来完成。 例如,当前旧集群有用户表(t1,索引名为idx_t1)及其对应的索引表(t1_idx)。迁移数据的操作步骤如下: 从旧集群导出表中数据。
识别平台数据接入源、大数据平台数据流入方式(实时数据上报、批量数据抽取)、分析平台数据流向。 数据在平台内各个组件间的流向,比如使用什么组件采集数据,采集完数据后数据如何流向下一层组件,使用什么组件存储数据,数据处理过程中的工作流等。