检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如何使用表达式方式获取当前时间? 问题描述 如何使用表达式方式获取当前时间? 解决方案 您可以在字段映射界面使用DateUtils.format(${timestamp()},"yyyy-MM-dd HH:mm:ss")表达式获取当前时间,更多表达式设置方式可以参考表达式转换。 父主题:
0 是否写入脏数据 选择是否记录脏数据,默认不记录脏数据。 CDM中脏数据指的是数据格式非法的数据。当源数据中存在脏数据时,建议您打开此配置。否则可能导致迁移作业失败。 说明: 脏数据当前仅支持写入到OBS桶路径中。因此仅当已具备OBS连接时,此参数才可以配置。 是 脏数据写入连接
CDM作业可以将源表中的字段注释迁移到目标端表吗? 问题描述 CDM作业可以将源表中的字段注释迁移到目标端表吗? 解决方案 不同版本支持的情况不一样。 具体如下: 2.8.6.1版本支持,2.9.1版本不支持,2.9.2.1版本支持。 父主题: 功能类
TO_NULL 导入前清空数据 选择目的端表中数据的处理方式。 是:任务启动前会清除目标表中数据。 否:导入前不清空目标表中的数据,如果选“否”且表中有数据,则数据会追加到已有的表中。 是 换行符处理方式 对于写入Hive textfile格式表的数据中存在换行符的场景,指定对换行符的处理策略。
HBase/CloudTable增量迁移 使用CDM导出HBase(包括MRS HBase、FusionInsight HBase、Apache HBase)或者表格存储服务(CloudTable)的数据时,支持导出指定时间段内的数据,配合CDM的定时任务,可以实现HBase/CloudTable的增量迁移。
HBase/CloudTable增量迁移 使用CDM导出HBase(包括MRS HBase、FusionInsight HBase、Apache HBase)或者表格存储服务(CloudTable)的数据时,支持导出指定时间段内的数据,配合CDM的定时任务,可以实现HBase/CloudTable的增量迁移。
ClickHouse目的端参数 作业中目的连接为MRS ClickHouse连接时,目的端作业参数如表1所示。 当作业源端为MRS ClickHouse、DWS及Hive时: 若int及float类型字段为null时,创建MRS ClickHouse表格时字段类型需设置为nullable(),否则写入到MRS
解决方案 CDM虽然不支持直接在不同集群间迁移作业,但是通过批量导出、批量导入作业的功能,可以间接实现集群间的作业迁移,方法如下: 将CDM集群1中的所有作业批量导出,将作业的JSON文件保存到本地。 由于安全原因,CDM导出作业时没有导出连接密码,连接密码全部使用“Add password
MRS中恢复HBase表 CDH HBase表目录已经迁移到MRS HBase后,可以使用命令恢复。对于那些会变化的数据,需要使用快照保证数据不变,然后再迁移并恢复。 约束限制 本方案仅支持迁移数据到MRS 1.x版本集群,2.x及之后版本无法通过HBase修复命令重建HBase表。
CDM迁移性能如何? 单个cdm.large规格实例理论上可以支持1TB~8TB/天的数据迁移,实际传输速率受公网带宽、集群规格、文件读写速度、作业并发数设置、磁盘读写性能等因素影响。更多详情请参见性能白皮书。 父主题: 通用类
CDM依次将Task提交给运行池运行。根据集群配置管理中的“最大抽取并发数”参数,超出规格的Task排队等待运行。 因此作业抽取并发数和集群最大抽取并发数参数设置为适当的值可以有效提升迁移速度。关于如何调整抽取并发数,详情请参考如何调整抽取并发数。 如何调整抽取并发数 集群最大抽取并发数的设置
MongoDB连接迁移失败时如何处理? 问题描述 MongoDB连接迁移失败时如何处理? 解决方案 在默认情况下,userAdmin角色只具备对角色和用户的管理,不具备对库的读和写权限。 当用户选择MongoDB连接迁移失败时,用户需查看MongoDB连接中用户的权限信息,确保对指定库具备ReadWrite权限。
CDM支持导入数据到数据接入服务(Data Ingestion Service,简称DIS),从DIS导出时,目前只支持导出到云搜索服务CSS。 表格存储服务 CDM支持从表格存储服务(CloudTable Service,简称CloudTable)导入、导出数据。 数据湖探索服务 CDM支持导入数据到数据湖探索服务(Data
PostgreSQL,云数据库 SQL Server 搜索:Elasticsearch 公测中:表格存储服务(CloudTable),云搜索服务(CSS) Elasticsearch仅支持非安全模式。 公测中 表格存储服务(CloudTable HBase) 数据仓库:数据仓库服务(DWS),数据湖探索(DLI)
HBase,MRS Hive 除了表格存储服务(CloudTable)外,其他NoSQL数据源不支持作为目的端。 Redis到DCS的迁移,可以通过其他方式进行,请参见自建Redis迁移至DCS。 Redis 文档数据库服务(DDS) MongoDB 表格存储服务(CloudTable
HBase,MRS Hive 除了表格存储服务(CloudTable)外,其他NoSQL数据源不支持作为目的端。 Redis到DCS的迁移,可以通过其他方式进行,请参见自建Redis迁移至DCS。 Redis 文档数据库服务(DDS) MongoDB 表格存储服务(CloudTable
PostgreSQL,云数据库 SQL Server 搜索:Elasticsearch 公测中:表格存储服务(CloudTable),云搜索服务(CSS) Elasticsearch仅支持非安全模式。 公测中 表格存储服务(CloudTable HBase) 数据仓库:数据仓库服务(DWS),数据湖探索(DLI)
建对应的连接。 约束限制 当所连接的数据源发生变化(如MRS集群扩容等情况)时,您需要重新编辑并保存该连接。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户,密码不会立即生效且作业会运行失败。 前提条件 已具备CDM集群。 CDM集群与目标数据源可以正常通信。
Redis Hadoop:MRS HDFS,MRS HBase,MRS Hive 除了表格存储服务(CloudTable)外,其他NoSQL数据源不支持作为目的端。 文档数据库服务(DDS) MongoDB 表格存储服务(CloudTable HBase) 数据仓库:数据仓库服务(DWS),数据湖探索(DLI)
Redis Hadoop:MRS HDFS,MRS HBase,MRS Hive 除了表格存储服务(CloudTable)外,其他NoSQL数据源不支持作为目的端。 文档数据库服务(DDS) MongoDB 表格存储服务(CloudTable HBase) 数据仓库:数据仓库服务(DWS),数据湖探索(DLI)