检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
全量同步阶段： 任务启动和全量数据同步阶段，请不要在源数据库执行DDL操作，否则可能导致任务异常。
表2 Query参数 参数 是否必选 参数类型 描述 name 否 String 数据连接名称，可通过本接口的全量数据连接列表返回结果获取。 type 否 String 数据连接类型，可通过本接口的全量数据连接列表返回结果获取。
2022年4月 序号 功能名称 功能描述 阶段 相关文档 1 数据服务 新增支持API全量导出。 数据服务脚本脚本模式API支持返回别名。 开放数据服务API接口，支持通过API进行数据服务开发。 商用
下线/停用/恢复) 批量授权API(专享版) 调试API API授权操作(授权/取消授权/申请/续约) 查看API发布信息(专享版) 查看API不同操作对应的实例信息(专享版) 查看API调试信息(专享版) 导入包含API信息的EXCEL文件 导出包含API信息的EXCEL文件 全量导出包含
在排除源端负载的情况下，如果源端是MySQL/Oracle/SQLServer/PostgreSQL/GaussDB等的全量+增量作业且作业处于全量抽取阶段，或者Kafka/Hudi等数据源抽取速度慢，请优先尝试加大作业并发数，以提高作业的并发抽取速率。
全量同步 当选择MRS集群时，支持配置是否全量用户同步，默认开启同步全量用户。 当您不需要同步全量用户时，可选择关闭此选项。 *用户/用户组 当关闭全量同步时可，支持指定待同步的用户/用户组，请至少选择一位用户或一个用户组。 用户同步任务新建完成后，并不会直接运行。
“流程”作为层级联动性质, 导出均默认为全量导出, 不支持筛选。流程导出的是全部流程信息，并不是用户的勾选项。 导入流程 在数据架构控制台，单击左侧导航树中的“流程设计”，进入流程设计页面。 单击流程列表上方的“导入”按钮导入流程。
功能概述 实时集成作业支持多种数据源、多种场景下的实时数据同步，用户可根据自主需求，一次性全量加实时增量同步多个库表，功能总览如下图所示。
数据质量 数据全生命周期管控，数据处理全流程质量监控，异常事件实时通知。 数据目录 提供企业级的元数据管理，厘清信息资产。通过数据地图，实现数据血缘和数据全景可视，提供数据智能搜索和运营监控。
常见配置举例如下： connectTimeout=360000与socketTimeout=360000：迁移数据量较大、或通过查询语句检索全表时，会由于连接超时导致迁移失败。此时可自定义连接超时时间与socket超时时间（单位ms），避免超时导致失败。
DSMM标准以组织的数据为中心，围绕数据的采集、传输、存储、处理、交换、销毁全生命周期，从组织建设、制度流程、技术工具、人员能力4个能力维度，按照1-5级成熟度，评价组织的数据安全能力。 图1 数据安全能力成熟度模型 父主题： 数据安全能力成熟度模型DSMM
掩码 dws指定列全掩码 dws指定数据列全脱敏。 仅当静态脱敏任务中源端、目标端数据源同为DWS，且执行引擎为DWS时才可以选择此算法。 不支持。 dws字符型掩码 从start到end的位置脱敏成指定的字符。
“流程”作为层级联动性质，导出均默认为全量导出, 不支持筛选。 导入流程 在数据指标控制台，单击左侧导航树中的“流程设计”，进入流程设计页面。 单击流程列表上方的“导入”按钮导入流程。
全量同步阶段： 任务启动和全量数据同步阶段，请不要在源数据库执行DDL操作，否则可能导致任务异常。 增量同步阶段： 请勿修改源数据库表的主键或者唯一键（主键不存在时），否则可能导致增量数据不一致或任务失败。
全量+增量：先同步全量数据，随后实时同步增量数据。 Kafka数据源专用同步模式： 最早：从Kafka Topic最早偏移量开始消费数据。 最新：从Kafka Topic最新偏移量开始消费数据。
其中，中间的连接词必须用全大写，可以为“AND”、“OR”或“NOT”，且连接词前后要有空格。 例如：“first_name:Alec AND last_name:John”。 范围匹配时，可以直接使用条件表达式的方式进行过滤，格式为column:>data。
图1 添加自定义属性 可使用的调优参数具体如下： 表1 全量阶段优化参数 参数名 类型 默认值 说明 properties.fetch.max.bytes int 57671680 消费Kafka时每次fetch请求返回的最大字节数。
全量+增量：先同步全量数据，随后实时同步增量数据。 时间 增量同步需要设置该参数，指示增量同步起始的时间位点。 说明： 配置的位点时间早于CDC日志最早时间点时，默认会以日志最新时间点开始消费。 监控作业。
同步模式包含增量同步和全量同步。 时间表示配置的位点时间早于日志最早时间点时，会以日志最早时间点消费。当设置为“增量同步”时才显示时间参数。 单击“确定”，启动该任务。 实时集成作业监控：停止 对于运行状态异常的实时集成作业，可以进行停止操作。
常见配置举例如下： connectTimeout=360000与socketTimeout=360000：迁移数据量较大、或通过查询语句检索全表时，会由于连接超时导致迁移失败。此时可自定义连接超时时间与socket超时时间（单位ms），避免超时导致失败。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
