-
配置Elasticsearch/云搜索服务(CSS)目的端参数 - 云数据迁移 CDM
配置Elasticsearch/云搜索服务(CSS)目的端参数 作业中目的连接为配置Elasticsearch连接或配置云搜索服务(CSS)连接时,即将数据导入到Elasticsearch/云搜索服务(CSS)时,目的端作业参数如表1所示。 表/文件迁移和整库迁移时需配置的参数不
-
配置FTP/SFTP源端参数 - 云数据迁移 CDM
据。多层嵌套的JSON节点以字符“.”分割。 data.list 高级属性 使用rfc4180解析器 当“文件格式”选择为“CSV格式”时,才有该参数。是否使用rfc4180解析器解析CSV文件。 否 换行符 文件中的换行符,默认自动识别“\n”、“\r”或“\r\n”。当“文件
-
配置OBS源端参数 - 云数据迁移 CDM
制格式”时,该参数值无效。 GBK 压缩格式 选择对应压缩格式的源文件: 无:表示传输所有格式的文件。 GZIP:表示只传输GZIP格式的文件。 ZIP:表示只传输ZIP格式的文件。 TAR.GZ:表示只传输TAR.GZ格式的文件。 无 压缩文件后缀 压缩格式非无时,显示该参数。
-
如何将云下内网或第三方云上的私网与CDM连通? - 云数据迁移 CDM
至此,就可以在CDM上通过弹性IP读取本地内网MySQL的数据,然后导入到云服务DWS中。 CDM要访问本地数据源,也必须给CDM集群配置EIP。 一般云服务DWS默认也是只允许VPC内部访问,创建CDM集群时,必须将CDM的VPC与DWS配置一致,且推荐在同一个内网和安全组,如果不同,还需要配置允许两个安全组之间的数据访问。
-
配置HBase/CloudTable目的端参数 - 云数据迁移 CDM
不存在时创建:当目的端的数据库没有“表名”参数中指定的表时,CDM会自动创建该表。如果“表名”参数配置的表已存在,则不创建,数据写入到已存在的表中。 说明: Hbase自动建表包含列族与协处理器Coprocessor信息。其他属性按默认值设置,不跟随源端。 不自动创建 Row key拼接分隔符
-
配置Redis源端参数 - 云数据迁移 CDM
配置Redis源端参数 第三方云的Redis服务无法支持作为源端。如果是用户在本地数据中心或ECS上自行搭建的Redis支持作为源端或目的端。 作业中源连接为从本地Redis导出的数据时,源端作业参数如表1所示。 表1 Redis作为源端时的作业参数 参数类型 参数名 说明 取值样例
-
配置MRS ClickHouse连接 - 云数据迁移 CDM
数据库服务器 配置为要连接的数据库的IP地址或域名。 登录MRS ClickHouse数据源所在集群的Manager页面,选择“集群 > 服务 > ClickHouse > 实例”,查看ClickHouseServer所在的“业务IP”。 192.168.0.1 端口 配置为要连接的数据库的端口。
-
配置DMS Kafka连接 - 云数据迁移 CDM
连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 dms_link 服务类型 选择DMS Kafka版本,目前只有专享版。 专享版 Kafka Broker Kafka专享版实例的地址,格式为 host:port。 - Kafka SASL_SSL 选择是否打开客户端连接Kafka专享版实例时SSL认证的开关。当DMS
-
认证鉴权 - 云数据迁移 CDM
进入“我的凭证”页面,选择“访问密钥 > 新增访问密钥”,如图1所示。 图1 单击新增访问密钥 单击“确定”,根据浏览器提示,保存密钥文件。密钥文件会直接保存到浏览器默认的下载文件夹中。打开名称为“credentials.csv”的文件,即可查看访问密钥(Access Key Id和Secret
-
配额说明 - 云数据迁移 CDM
配额说明 CDM服务应用的基础设施如下: 弹性云服务器 虚拟私有云 弹性公网IP 消息通知服务 统一身份认证服务 其配额查看及修改请参见关于配额。
-
配置Oracle源端参数 - 云数据迁移 CDM
Where子句 “使用SQL语句”选择“否”时,显示该参数,表示配置抽取范围的Where子句,不配置时抽取整表。 该参数支持配置为时间宏变量,实现抽取指定日期的数据,详细说明请参见关系数据库增量迁移。 说明: 如果配置了时间宏变量,通过DataArts Studio数据开发调度CD
-
配置DLI连接 - 云数据迁移 CDM
进入“我的凭证”页面,选择“访问密钥 > 新增访问密钥”,如图1所示。 图1 单击新增访问密钥 单击“确定”,根据浏览器提示,保存密钥文件。密钥文件会直接保存到浏览器默认的下载文件夹中。打开名称为“credentials.csv”的文件,即可查看访问密钥(Access Key Id和Secret
-
CDM迁移性能如何? - 云数据迁移 CDM
CDM迁移性能如何? 单个cdm.large规格实例理论上可以支持1TB~8TB/天的数据迁移,实际传输速率受公网带宽、集群规格、文件读写速度、作业并发数设置、磁盘读写性能等因素影响。更多详情请参见性能白皮书。 父主题: 通用类
-
如何查看审计日志 - 云数据迁移 CDM
前提条件 已开通云审计服务。开通方式请参见开通云审计服务。 操作步骤 登录管理控制台,在服务列表中选择“云审计服务 CTS”,进入云审计服务控制台。 在云审计服务控制台,默认展示事件列表,您可以通过筛选来查询对应的操作事件。 其中,CDM的操作事件您可以在“事件来源”中筛选“CDM”进行查看。
-
配置Cassandra连接 - 云数据迁移 CDM
mongodb_link 服务节点 一个或者多个节点的地址,以“;”分隔。建议同时配置多个节点。 192.168.0.1;192.168.0.2 端口 连接的Cassandra节点的端口号。 9042 用户名 连接Cassandra的用户名。 cdm 密码 连接Cassandra的密码。
-
如何备份CDM作业? - 云数据迁移 CDM
如何备份CDM作业? 用户可以先通过CDM的批量导出功能,把所有作业脚本保存到本地,仅在需要的时候再重新创建集群、重新导入作业,实现作业备份。 父主题: 功能类
-
配置字段映射 - 云数据迁移 CDM
l.now()}”用来标识当前日期字符串。 新建转换器 CDM支持字段内容转换,如果需要可单击操作列下,进入转换器列表界面,再单击“新建转换器”。 图2 新建转换器 CDM可以在迁移过程中对字段进行转换,目前支持以下字段转换器: 脱敏 隐藏字符串中的关键信息,例如要将“12345
-
配置LogHub(SLS)源端参数 - 云数据迁移 CDM
- 单次查询数据条数 一次从日志服务查询的数据条数。 128 数据消费开始时间 数据消费的开始时间位点,即日志数据到达LogHub(SLS)的时间,yyyyMMddHHmmss格式的时间字符串。 说明: “数据消费开始时间”和“数据消费结束时间”需要互相组合配套使用,时间范围左闭右开。
-
配置OBS目的端参数 - 云数据迁移 CDM
KMS:使用数据加密服务中的KMS进行加密。如果启用KMS加密则无法进行数据的MD5校验。 详细使用方法请参见迁移文件时加解密。 KMS KMS ID 写入文件时加密使用的密钥,“加密方式”选择“KMS”时显示该参数。单击输入框后面的,可以直接选择在数据加密服务中已创建好的KMS密钥。
-
字段转换器配置指导 - 云数据迁移 CDM
在创建表/文件迁移作业的字段映射界面,可新建字段转换器,如下图所示。 图1 新建字段转换器 CDM可以在迁移过程中对字段进行转换,目前支持以下字段转换器: 脱敏 去前后空格 字符串反转 字符串替换 去换行 表达式转换 约束限制 作业源端开启“使用SQL语句”参数时不支持配置转换器。 如果在字段映射界面,C