检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
离线数据加载:通过CDM将Hive外表数据迁移到Doris 应用场景 离线数据,端到端时延无要求。在存在DataArts Studio工具的场景下,数据加载使用CDM进行将离线的Hive外表数据迁移到MRS Doris。 方案架构 离线数据可以从数据湖加载,也可以直接加载本地文件
JobServer从Core节点迁移至Master节点指导 本章节适用于MRS 3.3.0-LTS和MRS 3.3.0-LTS.1版本。 操作场景 MRS 3.3.0-LTS及MRS 3.3.0-LTS.1版本中JobServer实例默认部署在Core节点上,由于JobServe
允许的。 如果不设置执行结果输出文件,默认是(/tmp/updatedata/表名)。 父主题: 增强HBase BulkLoad工具数据迁移能力
如果不设置执行结果输出数据文件(delete.hfile.output),默认是“/tmp/deletedata/表名”。 父主题: 增强HBase BulkLoad工具数据迁移能力
y为列“SMS_ID”、“SMS_NAME”的取第二个字符开始的三个字符以及“SMS_SERAIL”的反转(各部分用'_'连接)。 <columns> <column index="1" type="int">SMS_ID</column>
y为列“SMS_ID”、“SMS_NAME”的取第二个字符开始的三个字符以及“SMS_SERAIL”的反转(各部分用'_'连接)。 <columns> <column index="1" type="int">SMS_ID</column>
不支持批量更新已创建索引的字段的数据。 如果不设置执行结果输出文件,默认是“/tmp/updatedata/表名”。 父主题: 增强HBase BulkLoad工具数据迁移能力
如果不设置执行结果输出数据文件(delete.hfile.output),默认是/tmp/deletedata/表名。 父主题: 增强HBase BulkLoad工具数据迁移能力
type="string">SMS_ADDRESS</column> </columns> <rowkey> SMS_ID+'_'+substring(SMS_NAME
type="string">SMS_ADDRESS</column> </columns> <rowkey> SMS_ID+'_'+substring(SMS_NAME
top”,则统计的为大于等于“row_start”并且小于“row_stop”的数据。 父主题: 增强HBase BulkLoad工具数据迁移能力
top”,则统计的为大于等于“row_start”并且小于“row_stop”的数据。 父主题: 增强HBase BulkLoad工具数据迁移能力
执行以下命令,查看导入表TEST的数据: sqlline.py SELECT * FROM TEST LIMIT 10; 父主题: 增强HBase BulkLoad工具数据迁移能力
通过Loader迁移用户数据时,基本流程如下所示。 访问Hue WebUI的Loader页面。 管理Loader连接。 创建作业,选择数据源的连接以及保存数据的连接。 运行作业,完成数据迁移。 Loader页面介绍 Loader页面是基于开源Sqoop WebUI的图形化数据迁移管理工具
作业管理 MRS作业管理为用户提供向集群提交作业的入口,支持包括MapReduce、Spark、HQL和SparkSQL等类型的作业。 结合华为云数据治理中心DataArts Studio,提供一站式的大数据协同开发环境、全托管的大数据调度能力,帮助用户快速构建大数据处理中心。 通过数据治理中心DataArts
HA原理与实现方案 HBase中的HMaster负责Region分配,当RegionServer服务停止后,HMaster会把相应Region迁移到其他RegionServer。为了解决HMaster单点故障导致HBase正常功能受到影响的问题,引入HMaster HA模式。 图1 HMaster高可用性实现架构
0及之后版本。 数据迁移日志 /var/log/Bigdata/clickhouse/migration/数据迁移任务名/clickhouse-copier_{timestamp}_{processId}/copier.log 参考集群内ClickHouseServer节点间数据迁移使用迁移工具时产生的运行日志。
本章节内容仅适用于MRS 3.3.1及之后版本。 开启Succinct Trie后,HFile文件将不兼容开源版本,如果使用HFile进行数据迁移,且需要迁移到MRS 3.2.0及之前版本时,需要先关闭此特性,再对数据表执行major compaction生成新的HFile文件。 操作步骤
在用户意外修改、删除或需要找回数据时,集群用户需要对ClickHouse进行重大操作(如升级或迁移等)后,系统数据出现异常或未达到预期结果,导致ClickHouse组件全部故障无法使用,或者迁移数据到新集群的场景中,需要对ClickHouse元数据进行恢复数据操作。 集群用户可以通过FusionInsight
据切换为RDS数据库中存储的元数据。该操作可以使多个MRS集群共用同一份元数据,且元数据不随集群的删除而删除,也能够避免集群迁移时Ranger元数据的迁移。 停用集群组件Ranger鉴权 该操作仅在MRS 3.1.0及之后版本需要执行。 登录FusionInsight Manager页面,选择“集群