检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据源安全组放通哪些端口可满足Migration访问？ 如何配置Hudi Compaction的Spark周期任务？ MySQL到DWS实时同步中，同步新增列的DDL时报错怎么办？ MySQL到DWS实时同步中，DWS为什么需要对主键null值进行过滤？ Kafka到DLI实时同步中，作业运行失败，报“Array
数据源安全组放通哪些端口可满足Migration访问？ Hudi 如何配置Hudi Compaction的Spark周期任务？ DWS MySQL到DWS实时同步中，同步新增列的DDL时报错怎么办？ MySQL到DWS实时同步中，DWS为什么需要对主键null值进行过滤？ Kafka Kafka到DLI实时同步中，作业运行失败，报“Array
序内的函数指定。多个参数间使用空格隔开。 MRS资源队列 否 选择已创建好的MRS资源队列。 需要先在数据安全服务队列权限功能中，配置对应的队列后，才能在此处选择到已配置的队列。当有多处同时配置了资源队列时，此处配置的资源队列为最高优先级。 Flink作业资源包 是 选择Jar包
目的端数据库类型 目的端参数 参数说明 取值样例 云数据库MySQL 云数据库PostgreSQL 云数据库SQL Server - 整库迁移到RDS关系数据库时，目的端作业参数请参见配置MySQL/SQL Server/PostgreSQL目的端参数。 schema DWS - 整库
支持脚本参数功能，使用方法如下： 在Shell语句中直接写入脚本参数名称和参数值。当Shell脚本被作业引用时，如果作业配置的参数名称与Shell脚本的参数名称相同，Shell脚本的参数值将被作业的参数值替换。 脚本示例如下： a=1 echo ${a} 其中，a是参数名称，只支
Studio数据连接新建连接。 *数据库 选择待嵌入水印的数据库和数据表。 单击数据库后的“设置”，设置待嵌入水印的数据库和数据表。 单击“清除”，可对已选择的数据库和数据表进行修改。 *源表名 *水印嵌入列 下拉选择常见的字段类型作为嵌入列。如数值型、字符型。 注意：当选择水印版
值或第二个值等，详见Loop内嵌对象；循环执行的子作业的作业参数名配置后，参数值无需配置可置为空。 当循环执行的子作业需要使用自身参数变量运行时，则本参数可置为空；循环执行的子作业的作业参数需配置参数值。 数据集 是 For循环算子需要定义一个数据集，这个数据集用来循环替换子作业
支持脚本参数功能，使用方法如下： 在Python语句中直接写入脚本参数名称和参数值。当Python脚本被作业引用时，如果作业配置的参数名称与Python脚本的参数名称相同，Python脚本的参数值将被作业的参数值替换。 在脚本内部进行传参，脚本示例如下： a=1 print (a) 或者
28752 / RDS（Postgresql） 4U32G（主备模式） Postgresql 13.12 128865 1351351（并发度：30） 表2 写入性能实测数据 数据源 数据源规格 版本 单并发写入速率 （行/s） 多并发写入速率 （行/s） 云数据库 MySQL 8U 32G
及的分区不删除） 队列名称 是 默认选择SQL脚本中设置的DLI队列，支持修改。 如需新建资源队列，请参考以下方法： 单击，进入DLI的“队列管理”页面新建资源队列。 前往DLI管理控制台进行新建。 说明： 当子用户在创建作业时，子用户只能选择已经被分配的队列。 当前由于DLI的
tion_id，database_name，table_name参数值。 database_name 否 String 数据库名称，如果是获取技术报告规则评分，请务必填写data_connection_id，database_name，table_name参数值。 table_name
对象存储：对象存储服务（OBS） 关系型数据库：云数据库 MySQL，云数据库 PostgreSQL，云数据库 SQL Server 搜索：Elasticsearch 公测中：云搜索服务（CSS），表格存储服务（CloudTable） 云数据库 PostgreSQL MySQL 数据仓库：数据仓库服务（DWS）
否 Integer 分页列表的页数，默认值为0。取值范围大于等于0。 limit 否 Integer 分页返回结果，指定每页最大记录数。范围[1,1000] 默认值：10 jobName 否 String 作业名称 tags 否 String 作业标签列表，如果有多个标签，以英文逗号分隔。例如：tag1
对应目的端数据源 相关文档 关系型数据 MySQL Hadoop：MRS Hudi MySQL同步到MRS Hudi作业配置 消息系统：DMS Kafka MySQL同步到DMS Kafka作业配置 数据仓库：DWS MySQL同步到DWS作业配置 SQLServer Hadoop：MRS Hudi
节。 您需要在云数据库RDS服务控制台，创建一个MySQL数据库实例，用于模拟原始数据源。建议创建MySQL数据库时，相关网络参数与DataArts Studio实例中的CDM集群的所在区域、虚拟私有云、子网、安全组保持一致，默认内网互通，否则还需手动打通MySQL数据库与CDM
单击“新增”，在文本框中填写作业参数的名称和参数值。 参数名称 名称只能包含字符：英文字母、数字、中划线和下划线。 参数值 字符串类的参数直接填写字符串，例如：str1。 数值类的参数直接填写数值或运算表达式。 参数配置完成后，在作业中的引用格式为${参数名称}。 编辑参数表达式 在参数值文本框后方，单击，
into/overwrite等DML操作产生的MRS表之间的血缘。 CDM Job 支持MRS Hive、DLI、DWS、RDS、OBS以及CSS之间表文件迁移所产生的血缘。 ETL Job 支持DLI、OBS、MySQL以及DWS之间的ETL任务产生的血缘。 手动配置血缘 在DataArts Studio数据
项目中使用。 下线 在逻辑实体列表中，选择需要下线的逻辑实体，单击列表上方的“下线”或者单击“操作”列的“更多 > 下线”，进行逻辑实体下线。只有当表处于已发布状态时，才能执行此操作。 修改主题 在逻辑实体列表中，选择需要修改主题的逻辑实体，单击列表上方的“修改主题”，可以修改逻辑实体的主题。
corr() 返回两列数值的相关系数。 count(*) count() 返回记录条数。 covar_pop(col1, col2) covar_pop() 返回两列数值协方差。 covar_samp(col1, col2) covar_samp() 返回两列数值样本协方差。 max(col)
PostgreSQL与DWS字段类型映射 Migration会根据源端的字段类型按默认规则转换成目的端字段类型，并以此完成自动建表和实时同步。 字段类型映射规则 当源端为PostgreSQL，目的端为DWS时，支持的字段类型请参见下表，以确保数据完整同步到目的端。 表1 PostgreSQL
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
