检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Studio实例控制台，登录DataArts Studio管理控制台。 在DataArts Studio控制台首页，选择对应工作空间的“数据开发”模块，进入数据开发页面。 在数据开发主界面的左侧导航栏，选择“运维调度 > 通知管理”。 选择“通知管理”页签进入查看基线运行的所有消息通知信息，包含基线名称、通知类型和消息通知主题等。
Hadoop：MRS Hudi MySQL同步到MRS Hudi作业配置 MySQL数据库建议使用版本：5.6、5.7、8.x版本。 Hudi建议使用版本：0.11.0。 消息系统：DMS Kafka MySQL同步到Kafka作业配置 MySQL数据库建议使用版本：5.6、5.7、8.x版本。
过用户配置的通配符过滤文件或路径，CDM只迁移满足指定条件的文件或路径。 配置样例： 例如源端文件名带有时间字段“2017-10-15 20:25:26”，这个时刻生成的文件为“/opt/data/file_20171015202526.data”，则在创建作业时，参数配置如下：
解密的使用方法。 源端配置解密 创建从HDFS导出文件的CDM作业时，源端数据源选择HDFS、文件格式选择二进制格式后，在“源端作业配置”的“高级属性”中，配置如下参数。 加密方式：选择“AES-256-GCM”。 数据加密密钥：这里的密钥必须与加密时配置的密钥一致，否则解密出来的数据会错误，且系统不会提示异常。
在创建CDM表/文件迁移的作业，源连接选择为MongoDB连接或者DDS连接时，高级属性的可选参数中可以配置查询筛选。 图1 MongoDB查询筛选 此参数支持配置为时间宏变量，例如起始时间配置为{"ts":{$gte:ISODate("${dateformat(yyyy-MM-dd'T'HH:mm:ss
解密的使用方法。 源端配置解密 创建从HDFS导出文件的CDM作业时，源端数据源选择HDFS、文件格式选择二进制格式后，在“源端作业配置”的“高级属性”中，配置如下参数。 加密方式：选择“AES-256-GCM”。 数据加密密钥：这里的密钥必须与加密时配置的密钥一致，否则解密出来的数据会错误，且系统不会提示异常。
面向的读者 本文面向的读者包括：企事业各级管理人员、参与数据工作的相关人员、工具平台开发维护的相关人员等。
手动配置血缘，是在数据开发作业节点中，自定义血缘关系的输入表和输出表。注意手动配置血缘时，此节点的自动血缘解析将不生效。支持手动配置血缘的节点类型请参见手动配置血缘。 数据血缘的展示： 首先在数据目录组件完成元数据采集任务，当数据开发作业满足自动血缘解析要求或已手动配置血缘，然
欢迎使用数据治理中心DataArts Studio服务。DataArts Studio是针对企业数字化运营诉求提供的数据全生命周期管理、具有智能数据管理能力的一站式治理运营平台，包含数据集成、数据架构、数据开发、数据质量、数据目录、数据服务等功能，支持行业知识库智能化建设，支持大数
生成的元数据Schema所在的OBS目录。 图5 配置Import GES节点 图6 新建元数据 作业编排完成后，单击，测试运行作业。 图7 测试运行作业 如果作业运行正常，单击“调度配置”，配置作业的调度策略。 图8 调度配置 说明： 2023/04/01 00:00开始，每天00点00分执行一次作业。
网络打通 在配置实时同步任务前，您需要确保源端和目的端的数据库与运行实时同步任务的实时计算资源组之间网络连通，您可以根据数据库所在网络环境，选择合适的网络解决方案来实现网络连通。 数据库部署在本地IDC 数据库部署在其他云 数据库部署在华为云 父主题： 数据集成（实时作业）
Studio通过AZ故障容错、过载保护、备份恢复等技术方案，保障数据的持久性和可靠性。 关于DataArts Studio支持的备份信息，请参见备份管理。 父主题： 安全
实时集成任务运维 查看监控指标 查看同步日志 配置告警规则 动态修改任务配置 父主题： 数据集成（实时作业）
号。补数据时，配置的补数据的业务日期就会替换作业计划时间。 Job.planTime会把作业计划时间通过表达式转化为yyyy-MM-dd格式的时间。 配置补数据作业的调度周期。单击界面右侧的调度配置，配置补数据作业的调度周期，该使用指导配置周期设置为天。 图3 配置调度周期 作业
有哪些需求，需要获得什么价值？ 监控数据质量 支持更多数据源和更多规则的监控 作业数量规模是多少？ 本示例仅1个 用户可手动创建几十个作业，也可以在数据架构中配置自动生成数据质量作业。如果调用数据质量监控的创建接口，则可创建超过100个质量作业 用户的使用场景？ 对DWI层数据进行标准化清洗 一般在
如果生成API时设置入参位置为Static，则还需设置静态参数值。如果未配置Static参数值，则SDK调用时会使用API入参默认值，API工具调用时会导致缺少Static参数值的报错。 图1 申请权限 申请后，需要等待审核中心审核，方可授权成功。 授权成功后，可以在应用管理详情页面查看已绑定的API。 如果已绑
单击“新建”，输入新建分组名称和描述，参数设置参考表1，并勾选左侧列表中的识别规则。配置完成后单击“确定”即可。 图2 新建分组参数配置 您所勾选的规则将显示在右侧列表中，右侧已选列表中，已选规则可以通过单击操作来取消勾选。 表1 参数配置表 配置 说明 *分组名称 规则组名称只能包含中文、英文字母、数字和下划线。
号。补数据时，配置的补数据的业务日期就会替换作业计划时间。 Job.planTime会把作业计划时间通过表达式转化为yyyy-MM-dd格式的时间。 配置补数据作业的调度周期。单击界面右侧的调度配置，配置补数据作业的调度周期，该使用指导配置周期设置为天。 图3 配置调度周期 作业
CDM可以通过批量导入的功能，实现批量创建作业，方法如下： 手动创建一个作业。 导出作业，将作业的JSON文件保存到本地。 编辑JSON文件，参考该作业的配置，在JSON文件中批量复制出更多作业。 将JSON文件导入CDM集群，实现批量创建作业。 您也可以参考通过CDM算子批量创建分表迁移作业，配合For
云数据库 MySQL 支持按表字段分片。 仅当配置“按表分区抽取”时，按表分区分片。 云数据库 PostgreSQL 支持按表字段分片。 仅当配置“按表分区抽取”时，按表分区分片。 云数据库 SQL Server 支持按表字段分片。 仅当配置“按表分区抽取”时，按表分区分片。 MySQL
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
