检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
可进入表的选择界面,用户也可以直接输入表名称。 如果选择界面没有待选择的表,请确认表是否已经创建,或者对应连接里的账号是否有元数据查询的权限。 COLLECTION 迁移行为 将记录迁移到MongoDB目的端时,选择需要进行的插入行为操作。 新增:将文件记录直接插入指定的集合。
h。 上表中非云服务的数据源,例如MySQL,既可以支持用户本地数据中心自建的MySQL,也可以是用户在ECS上自建的MySQL,还可以是第三方云的MySQL服务。 整库迁移支持的数据源类型 整库迁移适用于将本地数据中心或在ECS上自建的数据库,同步到云上的数据库服务或大数据服务
h。 上表中非云服务的数据源,例如MySQL,既可以支持用户本地数据中心自建的MySQL,也可以是用户在ECS上自建的MySQL,还可以是第三方云的MySQL服务。 整库迁移支持的数据源类型 整库迁移适用于将本地数据中心或在ECS上自建的数据库,同步到云上的数据库服务或大数据服务
传输多个文件时,CDM使用这里配置的文件分隔符来区分各个文件,默认为|。列表文件选择“是”时,不显示该参数。 | QUERY参数 该参数设置为“是”时,上传到OBS的对象使用的对象名,为去掉query参数后的字符。 该参数设置为“否”时,上传到OBS的对象使用的对象名,包含query参数。
linkConfig.deploymentMode 是 枚举 Redis部署方式: Single:表示单机部署。 Cluster:表示集群部署。 linkConfig.serverlist 是 String 服务器地址列表,格式如:“host1:port1;host2:port2”。
String 服务器地址列表,格式如:“host1:port1;host2:port2”。 linkConfig.database 是 String MongoDB的数据库名称。 linkConfig.userName 是 String 连接MongoDB服务器的用户名。 linkConfig
要创建快照,这里配置的用户需要HDFS系统的管理员权限。 如果要创建MRS安全集群的数据连接,不能使用admin用户。因为admin用户是默认的管理页面用户,这个用户无法作为安全集群的认证用户来使用。您可以创建一个新的MRS用户,然后在创建MRS数据连接时,“用户名”和“密码”填写为新建的MRS用户及其密码。
配置Redis目的端参数 当作业将数据导入到Redis时,目的端作业参数如表1所示。 表1 Redis作为目的端时的作业参数 参数名 说明 取值样例 Redis键前缀 键的前缀,类似关系型数据库的表名。 TABLE 值存储类型 仅支持以下数据格式: STRING:不带列名,如“值1,值2”形式。
连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 sql_link 数据库服务器 配置为要连接的数据库的IP地址或域名。 单击输入框后的“选择”,可获取用户的实例列表。 192.168.0.1 端口 配置为要连接的数据库的端口。 不同的数据库端口不同,请根据具体情况配置。例如:
Kafka - 上表中非云服务的数据源,例如MySQL,既可以支持用户本地数据中心自建的MySQL,也可以是用户在ECS上自建的MySQL,还可以是第三方云的MySQL服务。 整库迁移支持的数据源类型 整库迁移适用于将本地数据中心或在ECS上自建的数据库,同步到云上的数据库服务或大数据服务
2:9200。 用户名、密码:配置为访问云搜索服务集群的用户,需要拥有数据库的读写权限。 图2 创建云搜索服务连接 单击“保存”回到连接管理界面。 创建Elasticsearch连接 在CDM集群管理界面,单击集群后的“作业管理”,选择“连接管理 > 新建连接”,进入连接器类型的选择界面,如图3所示。
还需配置路由规则及安全组规则,配置路由规则请参见如何配置路由规则章节,配置安全组规则请参见如何配置安全组规则章节。 此外,您还必须确保该云服务的实例与CDM集群所属的企业项目必须相同,如果不同,需要修改工作空间的企业项目。 已获取待连接数据源的地址、用户名和密码,且该用户拥有数据导入、导出的操作权限。
配置连接参数 OBS连接参数说明 PostgreSQL/SQLServer连接参数说明 数据仓库服务(DWS)连接参数说明 云数据库MySQL/MySQL数据库连接参数说明 Oracle数据库连接参数说明 DLI连接参数说明 Hive连接参数说明 HBase连接参数说明 HDFS连接参数说明
取值样例 同时执行的表个数 抽取时并发执行的表的数量。 3 抽取并发数 当前任务从源端进行读取最大线程数。 说明: 由于数据源限制,实际执行时并发的线程数可能小于等于此处配置的并发数,如CSS,ClickHouse数据源不支持多并发抽取。 1 是否写入脏数据 选择是否记录脏数据,默认不记录脏数据。
高级属性 Where子句 填写该参数表示指定抽取的Where子句,不指定则抽取整表。如果要迁移的表中没有Where子句的字段,则会迁移失败。 该参数支持配置为时间宏变量,实现抽取指定日期的数据,详细说明请参见关系数据库增量迁移。 说明: 如果配置了时间宏变量,通过DataArts Stu
触发时间(天):选择每月的几号执行作业,该参数值取值范围是“1~31”,可配置多个值但不可重复,中间使用“,”分隔。 有效期:分为开始时间和结束时间。 开始时间:表示定时配置生效的时间。其中的时、分、秒也是每次自动执行的时间。 结束时间:该参数为可选参数,表示停止自动执行定时任务的时间。如果没有配置,则表示一直自动执行。
用户名:选择KERBEROS鉴权时,需要配置MRS Manager的用户名和密码。 从HDFS导出目录时,如果需要创建快照,这里配置的用户需要HDFS系统的管理员权限。 密码:访问MRS Manager的用户密码。 认证类型:访问MRS的认证类型。 运行模式:选择HDFS连接的运行模式。 创建OBS连接
新建作业”,开始创建从OBS导出数据到云搜索服务的任务。 图6 创建OBS到云搜索服务的迁移任务 作业名称:用户自定义便于记忆、区分的任务名称。 源端作业配置 源连接名称:选择创建OBS连接中的“obslink”。 桶名:待迁移数据的桶。 源目录或文件:待迁移数据的路径,也可以迁移桶下的所有目录、文件。 文
密钥(SK) - 项目ID DLI服务所在区域的项目ID。 项目ID表示租户的资源,账号ID对应当前账号,IAM用户ID对应当前用户。用户可在对应页面下查看不同Region对应的项目ID、账号ID和用户ID。 注册并登录管理控制台。 在用户名的下拉列表中单击“我的凭证”。 在“API凭
支持云审计的关键操作 云审计服务(Cloud Trace Service,简称CTS)为用户提供了云账户下资源的操作记录,可以帮您记录相关的操作事件,便于日后的查询、审计和回溯。 表1 支持云审计的关键操作列表 操作名称 资源类型 事件名称 创建集群 cluster createCluster