检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
作业任务参数调优 概述 实时数据集成服务底层使用Flink流处理框架进行开发，因此包含了Flink系统中最重要的两个部分：JobManager和TaskManager。 作业任务配置中调整的处理器核数、并发数、执行内存参数等便是用来调整JobManager和TaskManager
启用SSL认证后，Kafka会将Kafka Broker连接地址视做域名不断进行解析，导致性能消耗。建议修改CDM集群对应的ECS主机（通过集群IP查找对应的ECS主机）中的“/etc/hosts”文件，为其添加Broker连接地址的自映射，以便客户端能够快速解析实例的Broker。例如Kafka
已购买资源组，详情请参见购买数据集成资源组。 已购买并配置企业路由器，使数据源所在租户下的数据源VPC与当前租户下的一个VPC互联互通。若未开通企业路由器请参考同区域VPC互通方案概述和共享企业路由器进行配置。 准备工作 查询打通网络过程中所涉及到对象的网段（包含数据源、中转VP
选择执行Python语句的主机。需确认该主机配有用于执行Python脚本的环境。 须知： Shell或Python脚本可以在该ECS主机上运行的最大并发数由ECS主机的/etc/ssh/sshd_config文件中MaxSessions的配置值确定。请根据Shell或Python脚本
待连接数据库的用户。 仅当“数据源列表”中某个后端数据库A未配置用户名密码时，该配置对A生效。如果后端数据库B已配置用户名密码，此处配置不对B生效。 cdm 密码 待连接数据库的用户密码。 仅当“数据源列表”中某个后端数据库A未配置用户名密码时，该配置对A生效。如果后端数据库B已配置用户名密码，此处配置不对B生效。
和开发环境的两套数据湖服务，用于隔离开发和生产环境： 对于集群化的数据源（例如MRS、DWS、RDS、MySQL、Oracle、DIS、ECS），如果使用两套集群，DataArts Studio通过管理中心的创建数据连接区分开发环境和生产环境的数据湖服务，在开发和生产流程中自动切
Server PostgreSQL 支持从云端的数据库服务导出数据。 这些非云服务的数据库，既可以是用户在本地数据中心自建的数据库，也可以是用户在ECS上部署的，还可以是第三方云上的数据库服务。 从这些数据源导出数据时，CDM使用JDBC接口抽取数据，源端作业参数相同，详细请参见配置PostgreSQL/SQL
Shell节点运行的输出结果不能大于30M，大于30M会报错。 主机连接 是 选择执行Shell脚本的主机。 须知： Shell或Python脚本可以在该ECS主机上运行的最大并发数由ECS主机的/etc/ssh/sshd_config文件中MaxSessions的配置值确定。请根据Shell或Python脚本
户在本地数据中心或ECS上自行搭建的Redis支持作为源端或目的端。 仅支持Hash和String两种数据格式。 文档数据库服务（DDS）和MongoDB数据源约束 从MongoDB、DDS迁移数据时，CDM会读取集合的首行数据作为字段列表样例，如果首行数据未包含该集合的所有字段，用户需要自己手工添加字段。
） dli.sql.dynamicPartitionOverwrite.enabled（在动态分区模式时，只会重写查询中的数据涉及的分区，未涉及的分区不删除） 说明： 在非调度场景的DLI SQL脚本运行和DLI SQL单任务作业测试运行时，系统会默认开启以下四个配置参数： spark
选择操作列中的“更多 > 重启”。 图5 重启集群 重启CDM服务进程：只重启CDM服务的进程，不会重启集群虚拟机。 重启集群VM：业务进程会中断，并重启集群的虚拟机。 选择“重启集群VM”后单击“确定”。 父主题： 创建并管理CDM集群
数据集成（CDM作业） CDM与其他数据迁移服务有什么区别，如何选择？ CDM有哪些优势？ CDM有哪些安全防护？ 如何降低CDM使用成本？ CDM未使用数据传输功能时，是否会计费？ 已购买包年包月的CDM套餐包，为什么还会产生按需计费的费用？ 如何查看套餐包的剩余时长？ CDM可以跨账户使用吗？
符避免任务失败。 源数据库如果开启客户端配置中的“强制协议加密（Force Protocol Encrypton）”，必须同时开启“信任服务器证书（trust server certificate）”，如下图所示： 图2 查看客户端属性 使用限制 通用： 实时同步过程中，不支持IP、端口、账号、密码修改。
数据服务API接口，访问“测试APP”，填写了相关参数，但是后台报错要怎么处理？ 可能原因 未配置参数header parameter。 解决方案 在调用API时配置参数header parameter。 header parameter: x-Authorization, nvalid
分库分表同步适用于将本地数据中心或在ECS上自建的数据库，同步到云上的数据库服务或大数据服务中，适用于多库多表同步场景。 支持分库分表同步的数据源如下所示： 源端为RDS(MySQL)时支持分库分表同步。 整库同步支持的数据源类型 整库同步适用于将本地数据中心或在ECS上自建的数据库，同步到云
moment-timezone --save 获取并安装IntelliJ IDEA，如果未安装，请至IntelliJ IDEA官方网站下载。 已在IntelliJ IDEA中安装NodeJS插件，如果未安装，请按照图1所示安装。 图1 安装NodeJS插件 获取SDK 登录DataArts
迁移过程中可能存在源端与目标端字段类型不匹配，产生脏数据，导致数据无法正常写入目标端，迁移过程中关于脏数据的容忍条数，请参考下一步任务属性进行配置。 当源端某字段未与目标端字段进行映射时，源端该字段数据将不会同步到目标端。 其他场景下，CDM会自动匹配源端和目的端数据表字段，需用户检查字段映射关系和时间
上表中非云服务的数据源，例如MySQL，既可以支持用户本地数据中心自建的MySQL，也可以是用户在ECS上自建的MySQL，还可以是第三方云的MySQL服务。 整库迁移支持的数据源类型 整库迁移适用于将本地数据中心或在ECS上自建的数据库，同步到云上的数据库服务或大数据服务中，适用于数据库离线迁移场景，不适用于在线实时迁移。
true:开启，false:未开启 表6 PublicNetworkAccess 参数 参数类型 描述 result String 检测结果 NO_RISK 无风险 MEDIUM_RISK 中风险 HIGH_RISK 高风险 NOT_SCANNED 未扫描 public_network_info
用户登录并验证权限 新创建的用户登录控制台，切换至授权区域，验证权限： 在“服务列表”中选择“云数据迁移服务”，进入CDM主界面查看集群，若未提示权限不足，表示“CDM ReadOnlyAccess”已生效。 在“服务列表”中选择除CDM服务外的任一服务，若提示权限不足，表示“CDM
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
