检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
文件增量迁移 CDM支持对文件类数据源进行增量迁移,全量迁移完成之后,第二次运行作业时可以导出全部新增的文件,或者只导出特定的目录/文件。 目前CDM支持以下文件增量迁移方式: 增量导出指定目录的文件 适用场景:源端数据源为文件类型(OBS/HDFS/FTP/SFTP)。这种增量
loudTable的增量迁移。 如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时,系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”,而不是“CDM作业实际启动时间-偏移量”。 在创建CDM表/文件迁移的作业,源连接选择为HBase连
迁移Kafka节点内数据 操作场景 用户可以根据业务需求,通过Kafka客户端命令,在不停止服务的情况下,进行节点内磁盘间的分区数据迁移。也可以通过KafkaUI进行分区迁移。 前提条件 MRS集群管理员已明确业务需求,并准备一个Kafka用户(属于kafkaadmin组,普通模式不需要)。
当进行数据备份或迁移时,可以使用DAS的数据导出功能,获取完整的数据信息,再将数据从本地或者从OBS桶导入目标数据表。 免费 什么是数据管理服务(DAS) 数据迁移方案 表2 数据迁移方案 源数据库 迁移工具 特点 操作指导 RDS for MySQL DRS 支持全部数据、库级或表级数据迁移 支持全量和增量数据迁移
数据库名称 当前需要迁移的DWS数据库名称。当前示例为DWS集群上创建数据库和表中创建的数据库“testdwsdb”。 用户名 待连接数据库的用户。该数据库用户需要有数据表的读写权限,以及对元数据的读取权限。 本示例使用创建DWS数据库实例的默认管理员用户“dbadmin”。 密码 对应的DWS数据库用户的密码。
配置MongoDB目的端参数 作业中目的连接为MongoDB连接时,目的端作业参数如表1所示。 表1 MongoDB作为目的端时的作业参数 参数名 说明 取值样例 数据库名称 选择待导入数据的数据库。 mddb 集合名称 选择待导入数据的集合,相当于关系数据库的表名。单击输入框后
安全 责任共担 资产识别与管理 身份认证与访问控制 数据保护技术 审计与日志 服务韧性 监控安全风险 故障恢复 更新管理 认证证书
文档数据库(MongoDB) 文档数据库(MongoDB)为用户提供常见的文档数据操作管理功能,如查询文档、删除文档、更新文档等。完全兼容MongoDB协议,可以访问MongoDB数据库。包含“创建集合”、“删除集合”、“删除文档”等执行动作。 连接参数 创建文档数据库连接时连接
数据库迁移 DDS实例是否支持跨region迁移 不同账号下的DDS数据库如何进行迁移? 高版本MongoDB迁移至低版本时,兼容度如何评估?
产生的临时数据。方法请参考配置DLI作业桶。 操作步骤 登录迁移中心控制台。 在左侧导航栏选择“实施>大数据数据迁移”,进入大数据数据迁移页面。在页面左上角的当前项目下拉列表中选择在完成准备工作时所创建的迁移项目。 单击页面右上角的“创建迁移任务”按钮,右侧弹出创建迁移任务窗口。
MySQL数据库迁移后无法启动 问题描述 迁移后MySQL数据库无法正常启动或短暂启动后又退出。 问题分析 该问题是因为源端MySQL数据库没有停止服务,导致目的端数据库相关文件不匹配所引起的。 解决方案 适当时间,停止源端MySql数据库服务的所有业务,再重新同步一次。 父主题:
增量迁移原理介绍 文件增量迁移 关系数据库增量迁移 HBase/CloudTable增量迁移 MongoDB/DDS增量迁移 父主题: 数据迁移进阶实践
的数据迁移至云上。 将云上NAS存储数据迁移至SFS Turbo文件系统中也可以参考本方案,具体说明请参考云上NAS数据迁移至弹性文件服务。 约束与限制 仅支持使用Linux系统的云服务器进行数据迁移。 文件UID和GID在同步操作后将不再保持一致。 文件访问模式同步操作后不再保持一致。
元数据迁移 使用gs_dump和gs_dumpall命令导出元数据 使用gs_restore导入数据
String 迁移任务ID。 task_name String 迁移任务名称。 description String 迁移任务描述。 status String 迁移任务状态,这个字段的值包括:SUCCESS(成功), FAILED(失败), MIGRATING(迁移中),TERM
返回DRS实时迁移管理,查看迁移任务状态。 启动中状态一般需要几分钟,请耐心等待。 当状态变更为“全量中”,表示迁移任务已经启动。 目前MySQL到DDM迁移支持全量、全量+增量两种模式。 如果创建的任务为全量迁移,任务启动后先进行全量数据迁移,数据迁移完成后任务自动结束。 如果
数据库迁移服务 工作说明书 常见问题 计费说明 父主题: 上云与实施
将ECS迁移至专属主机 操作场景 云平台支持弹性云服务器在专属主机与公共资源池之间迁移。 在控制台的“弹性云服务器”页面,您可以将公共资源池的弹性云服务器迁移至专属主机,成为专属主机上的弹性云服务器。 本章节介绍公共资源池的弹性云服务器迁移至专属主机的操作指导。 迁移云服务器需保
数据库迁移 此场景下数据库的迁移有如下方法: 数据库迁移同样可以使用主机迁移服务SMS,但是只能离线迁移。详情请参见方法一:使用SMS部分。 如果对停机时间有较高要求,您也可以使用数据库的备份恢复功能或者数据库同步复制技术进行迁移。 本文方法二:使用备份恢复进行迁移和方法三:使用
从Kafka拉取数据时的初始偏移量。本示例当前选择为:最新。 最新:最大偏移量,即拉取最新的数据。 最早:最小偏移量,即拉取最早的数据。 已提交:拉取已提交的数据。 时间范围:拉取时间范围内的数据。 是否持久运行 用户自定义是否永久运行。当前示例选择为:否。 拉取数据超时时间 持续