检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用BulkLoad工具批量删除HBase数据 操作场景 BulkLoad工具支持根据rowkey的取值模式、范围、字段名、字段值对HBase数据做批量删除。 使用BulkLoad工具批量删除HBase数据 执行如下命令删除从“row_start”到“row_stop”的行,并且
使用BulkLoad工具批量更新HBase数据 操作场景 HBase BulkLoad工具支持根据RowKey的命名规则、RowKey的范围、字段名以及字段值进行批量更新数据。 使用BulkLoad工具批量更新HBase数据 执行如下命令更新从“row_start”到“row_s
使用BulkLoad工具批量更新HBase数据 操作场景 HBase BulkLoad工具支持根据RowKey的命名规则、RowKey的范围、字段名以及字段值进行批量更新数据。 使用BulkLoad工具批量更新HBase数据 执行如下命令更新从“row_start”到“row_s
使用BulkLoad工具批量导入HBase数据 操作场景 您可以按照自定义的方式,通过命令批量导入数据到HBase中并创建索引。 您可以在“configuration.xml”文件中定义多个方式来批量导入数据。导入数据时可不创建索引。 列的名称不能包含特殊字符,只能由字母、数字和下划线组成。
使用BulkLoad工具批量导入HBase数据 操作场景 您可以按照自定义的方式,通过命令批量导入数据到HBase中并创建索引。 您可以在“configuration.xml”文件中定义多个方式来批量导入数据,导入数据时可不创建索引。 列的名称不能包含特殊字符,只能由字母、数字和下划线组成。
即不允许在建有索引的字段上执行批量删除。 如果不设置执行结果输出数据文件(delete.hfile.output),默认是/tmp/deletedata/表名。 父主题: 增强HBase BulkLoad工具数据迁移能力
WebUI界面 单击“作业迁移”,进入作业迁移界面。 在“源分组”中选择待迁移作业当前所属分组,在“目标分组”中选择待迁移作业的目标分组。 在“选择迁移类型”中选择迁移类型。 “所有”:将源分组所有作业迁移到目标分组。 “指定作业”:将源分组中指定的作业迁移到目标分组。选择“指定作业”,在作业列表中勾选需要迁移的作业。
迁移Storm业务至Flink 概述 完整迁移Storm业务 嵌入式迁移Storm业务 迁移Storm对接的外部安全组件业务 父主题: 使用Storm
WebUI界面 单击“作业迁移”,进入作业迁移界面。 在“源分组”中选择待迁移作业当前所属分组,在“目标分组”中选择待迁移作业的目标分组。 在“选择迁移类型”中选择迁移类型。 “所有”:将源分组所有作业迁移到目标分组。 “指定作业”:将源分组中指定的作业迁移到目标分组。选择“指定作业”,在作业列表中勾选需要迁移的作业。
迁移Storm对接的外部安全组件业务 迁移Storm对接HDFS和HBase组件的业务 如果Storm的业务使用的storm-hdfs或者storm-hbase插件包进行的对接,那么在按照完整迁移Storm业务进行迁移时,需要指定特定安全参数,如下: //初始化Storm的Config
50000000 --throttle 50000000:限制网络带宽为50MB。带宽可根据数据量大小及客户对均衡时间的要求进行调整,5TB数据量,使用50MB带宽,均衡时长约8小时。 执行以下命令查看迁移状态。 ./kafka-reassign-partitions.sh --zookeeper
添加HBase数据源 本章节指导用户在HSConsole界面添加HBase数据源。 添加HBase数据源前提条件 数据源所在集群域名与HetuEngine集群域名不能相同。 数据源所在集群与HetuEngine集群节点网络互通。 在HetuEngine所在集群的所有节点的“/et
数据采集 使用kafka采集数据时报错IllegalArgumentException 采集数据时报错HoodieException 采集数据时报错HoodieKeyException 父主题: Hudi常见问题
数据、LdapServer数据、DBService数据和NameNode数据。备份Manager数据包含同时备份OMS数据和LdapServer数据。 默认情况下,元数据备份由“default”任务支持。该任务指导用户通过MRS Manager创建备份任务并备份元数据。支持创建任务自动或手动备份数据。
dump_db”数据库的数据导入到“load_db”数据库中。 repl load load_db from '/user/hive/repl'; 通过repl load导入数据库,指定数据库名称时需要注意以下情况: 指定的数据库不存在,在导入的过程中会创建对应的数据库; 指定的数据库已存在,且该数据库的“hive
如果指定了“row_start”和“row_stop”,则统计的为大于等于“row_start”并且小于“row_stop”的数据。 父主题: 增强HBase BulkLoad工具数据迁移能力
当业务正常时需要恢复ClickHouse元数据,建议手动备份最新ClickHouse元数据后,再执行恢复ClickHouse元数据操作。否则会丢失从备份时刻到恢复时刻之间的ClickHouse元数据。 ClickHouse元数据恢复和业务数据恢复不能同时进行操作,否则会导致业务数据恢复失败。建议元数据恢复完成后再进行业务数据恢复。
手动恢复数据。 只支持进行数据备份时的系统版本与当前系统版本一致时的数据恢复。 当业务正常时需要恢复Flink元数据,建议手动备份最新Flink元数据后,再执行恢复Flink元数据操作。否则会丢失从备份时刻到恢复时刻之间的Flink元数据。 Flink元数据恢复和业务数据恢复不能
均衡操作时间估算受两个因素影响: 需要迁移的总数据量: 每个DataNode节点的数据量应大于(平均使用率-阈值)*平均数据量,小于(平均使用率+阈值)*平均数据量。若实际数据量小于最小值或大于最大值即存在不平衡,系统选择所有DataNode节点中偏差最多的数据量作为迁移的总数据量。 Balance
0版本开始提供了一套API可以将使用Storm API编写的业务平滑迁移到Flink平台上,只需要极少的改动即可完成。通过这项转换可以覆盖大部分的业务场景。 Flink支持两种方式的业务迁移: 完整迁移Storm业务:转换并运行完整的由Storm API开发的Storm拓扑。 嵌入式迁移Storm业务:在Flink的