检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
源端作业参数说明 源端为关系数据库 源端为对象存储 源端为HDFS 源端为Hive 源端为HBase/CloudTable 源端为FTP/SFTP 源端为HTTP/HTTPS 源端为MongoDB/DDS 源端为Redis 源端为DIS 源端为Kafka 源端为Elasticsearch/云搜索服务
指定资源组的下拉框，查看该资源组的VPC网段。 图4 查询资源组网段 172.16.0.0/19 网络配置流程 配置华为云数据库所在安全组规则。 华为云数据库所在安全组需要增加入方向规则，放通Migration资源组VPC网段（例如172.16.0.0/19），使其可以访问数据库监听端口。
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
列注释模拟数据 table_comment 否 String 表注释模拟数据 table_name 否 String 表名模拟数据 database_name 否 String 库名模拟数据 表5 DataClassificationSingleRuleDTO 参数 是否必选 参数类型
(DWS)，简称DWS）作为数据湖底座，进行数据集成、开发、治理与开放。 云数据库服务 DataArts Studio支持将云数据库服务（Relational Database Service，简称RDS）作为作为数据源，进行数据集成、开发与开放。 云数据迁移服务 DataArts
待写入数据的Elasticsearch的索引，类似关系数据库中的数据库名称。CDM支持自动创建索引和类型，索引和类型名称只能全部小写，不能有大写。 index 类型 待写入数据的Elasticsearch的类型，类似关系数据库中的表名称。类型名称只能全部小写，不能有大写。 说明：
如果选择界面没有待选择的模式或表空间，请确认对应连接里的账号是否有元数据查询的权限。 该参数支持配置正则表达式，实现导出满足规则的所有数据库。 SCHEMA_E 表名 “使用SQL语句”选择“否”时，显示该参数，表示要抽取的表名。 单击输入框后面的按钮可进入表的选择界面，用户也可以直接输入表名称。
型，再进一步细化设计出逻辑模型，最后设计物理模型。 物理模型：是在逻辑数据模型的基础上，考虑各种具体的技术实现因素，进行数据库体系结构设计，真正实现数据在数据库中的存放，例如：所选的数据仓库是DWS或DLI。 维度建模 维度建模是从分析决策的需求出发构建模型，它主要是为分析需求服
节点概述 节点定义对数据执行的操作。数据开发模块提供数据集成、计算&分析、数据库操作、资源管理等类型的节点，您可以根据业务模型选择所需的节点。 节点的参数支持使用EL表达式，EL表达式的使用方法详见表达式概述。 节点间的连接方式支持串行和并行。 串行连接：按顺序逐个执行节点，当A节点执行完成后，再执行B节点。
Where条件：可依据用户输入的where条件对字段进行过滤。 生成异常数据：开启此项，表示异常数据将按照配置的参数存储到规定的库中。 数据库或Schema：开启“生成异常数据”时显示此项，表示存储异常数据的数据库或Schema 表前缀：开启“生成异常数据”时显示此项，表示存储异常数据的表的前缀。 表后缀：开启“生
消费Kafka时服务器将返回的每个分区的最大字节数。Kafka单条消息大的场景，可以适当调高每次获取的数据量，以提高性能。 properties.max.poll.records int 500 消费者每次poll时返回的最大消息条数。Kafka单条消息大的场景，可以适当调高每次获取的数据量，以提高性能。 目的端优化
表4 FilterCriteria 参数 是否必选 参数类型 描述 name 是 String 当前可选值：database。 value 是 String database的名称。 operator 是 String 操作标识。 表5 TimeRange 参数 是否必选 参数类型
配置权限详见配置权限集或配置角色。 DWS联通性测试前，已完成用户同步，然后将当前登录账号切换为IAM子用户账号，且至少具有DWS Database Access权限。 已经为MRS Hive连接和MRS SPARK连接中的用户配置了代理权限，请参考参考：为MRS数据连接用户配置代理权限进行配置。
作业数据输入总数 展示用户Flink作业的数据输入总数，供监控和调试使用 ≥ records 实时处理集成作业 1分钟 作业数据输出总数 展示用户Flink作业的数据输出总数，供监控和调试使用 ≥ records 实时处理集成作业 1分钟 作业字节输入速率 展示用户Flink作业每秒输入的字节数
指定资源组的下拉框，查看该资源组的VPC网段。 图2 查询资源组网段 172.16.0.0/19 网络配置流程 配置华为云数据库所在安全组规则。 华为云数据库所在安全组需要增加入方向规则，放通Migration资源组VPC网段（例如172.16.0.0/19），使其可以访问数据库监听端口。
完成之后，就可以到CDM控制台，通过Internet迁移公网的数据上云了。例如：迁移本地数据中心FTP服务器上的文件到OBS、迁移第三方云上关系型数据库到云服务RDS。 父主题： 数据集成（CDM作业）
消费Kafka时服务器将返回的每个分区的最大字节数。Kafka单条消息大的场景，可以适当调高每次获取的数据量，以提高性能。 properties.max.poll.records int 500 消费者每次poll时返回的最大消息条数。Kafka单条消息大的场景，可以适当调高每次获取的数据量，以提高性能。 目的端优化
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
据源为DLI时无需填写。 datasource_type 是 String 数据源类型 HIVE数据源 DWS数据源 DLI数据源 database_name 否 String 数据库名 注意：该值作为查询关键字时，不能与url同时存在，需要指定其一进行查询。 schema_name
GBASE、ORACLE、RDS、DORIS 计算数据库每个表中每个字段的空值字段行数，结果以字段为维度呈现。 表级 准确性 表行数 DLI、DWS、HIVE、SparkSQL、CLICKHOUSE、GBASE、HETUENGINE、ORACLE、RDS、DORIS 计算数据表的总行数。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
