检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
SQL的算子脚本参数支持参数预览。 表4 作业参数预览 功能 说明 当前时间 仅单次调度才显示。系统默认为当前时间。 事件触发时间 仅事件驱动调度才显示。系统默认为事件触发时间。 周期调度 仅周期调度才显示。系统默认为调度周期。 具体时间 仅周期调度才显示。周期调度配置的具体运行时间。 起始日期
开发责任人、运维管理员设置为管理员角色。 开发者：开发者拥有工作空间内创建、管理工作项的业务操作权限。建议将任务开发、任务处理的用户设置为开发者。 运维者：运维者具备工作空间内运维调度等业务的操作权限，但无法更改工作项及配置。建议将运维管理、状态监控的用户设置为运维者。 访客：访
下载事实表导入模板，编辑完成后保存至本地。 选择是否更新已有数据。 如果系统中已有的编码和模板中的编码相同，系统则认为是数据重复。 不更新：当数据重复时，不会替换系统中原有的数据。 更新：当数据重复时 系统中的原有数据为草稿状态，则会覆盖生成新的草稿数据。 系统中的原有数据为发布状态，则会生成下展数据。 单
选择Data_Quality_Monitor数据质量监控算子，将该节点拖入空白页面。并配置节点属性参数。 图2 配置Data_Quality_Monitor节点属性 配置调度周期。 图3 配置调度周期 提交版本并执行调度。 在“作业监控”查看作业运行日志。 图4 查看运行日志 父主题：
"yyyy-MM-dd")}，更多EL表达式请参见EL表达式。 保存并提交作业版本，单击“测试运行”，执行数据开发作业。 数据开发作业执行成功后，单击右上角的“前往监控”，进入“作业监控”页面，查看生成的任务或实例是否符合需求，如图6所示。 图6 查看运行结果
打开一个已创建好的作业，从左侧节点库中拖拽一个“Create OBS”节点。 在节点属性页签中配置属性。 图2 Create OBS 单击“保存”后，选择“前往监控”页面监控作业的运行情况。 配置作业参数 作业参数中支持定义变量和常量，作业参数的作用范围为当前作业。 变量是指不同的作业下取值不同，需要重新配置值。
如果系统中已有的表英文名称和模板中的表英文名称相同，系统则认为是数据重复。 不更新：当数据重复时，不会替换系统中原有的数据。 更新：当数据重复时 系统中的原有数据为草稿状态，则会覆盖生成新的草稿数据。 系统中的原有数据为发布状态，则会生成下展数据。 单击“添加文件”，选择编辑完成的导入模板。 单击“上
配置的位点时间早于Binlog日志最早时间点时，默认会以日志最新时间点开始消费。 监控作业。 通过单击作业开发页面导航栏的“前往监控”按钮，可前往作业监控页面查看运行情况、监控日志等信息，并配置对应的告警规则，详情请参见实时集成任务运维。 图13 前往监控 性能调优 若链路同步速度过慢，可参考参见任务性能调优章节章节中对应链路文档进行排查及处理。
配置的位点时间早于Kafka消息最早偏移量时，默认会从最早偏移量开始消费。 监控作业。 通过单击作业开发页面导航栏的“前往监控”按钮，可前往作业监控页面查看运行情况、监控日志等信息，并配置对应的告警规则，详情请参见实时集成任务运维。 图10 前往监控 性能调优 若链路同步速度过慢，可参考参见任务性能调优章节章节中对应链路文档进行排查及处理。
"description" : "数据监控责任人", "required" : false, "searchable" : false, "actived" : false, "label" : "数据监控责任人", "disabled"
采集数据源的元数据 元数据简介 配置元数据采集任务 查看任务监控 父主题： 数据目录
配置的位点时间早于Binlog日志最早时间点时，默认会以日志最新时间点开始消费。 监控作业。 通过单击作业开发页面导航栏的“前往监控”按钮，可前往作业监控页面查看运行情况、监控日志等信息，并配置对应的告警规则，详情请参见实时集成任务运维。 图14 前往监控 性能调优 若链路同步速度过慢，可参考参见任务性能调优章节章节中对应链路文档进行排查及处理。
参考新建资源。 重跑策略 否 从上一个检查点重跑 重新启动 输入数据路径 否 设置输入数据路径，系统支持从HDFS或OBS的目录路径进行配置。 输出数据路径 否 设置输出数据路径，系统支持从HDFS或OBS的目录路径进行配置。 表2 配置高级参数 参数 是否必选 说明 作业状态轮询时间（秒）
单击“下一步”，配置调度属性如下图所示。 图2 配置调度属性 单击“提交”，完成采集任务的创建。 单击任务管理列表中的“运行”或“启动调度”，跳转到任务监控页面并查看任务状态。 场景二：更新数据目录中的元数据，添加新元数据 用户的数据库中新增了数据表，采集数据源中指定的所有表。 例如新增table4的情况下：
安全 责任共担 资产识别与管理 身份认证与访问控制 数据保护技术 审计与日志 服务韧性 监控安全风险 故障恢复 更新管理 认证证书
解绑/绑定CDM集群的EIP 重启CDM集群 删除CDM集群 下载CDM集群日志 查看并修改CDM集群配置 管理集群标签 管理并查看CDM监控指标 父主题： 数据集成（CDM作业）
复制名称和重命名作业 移动作业/作业目录 导出导入作业 批量配置作业 删除作业 解锁作业 查看作业依赖关系图 转移作业责任人 批量解锁 前往监控 添加通知配置 父主题： 作业开发
com/huaweicloudDocs/dgc/blob/master/WordCount.jar 下载的Flink作业资源包需要进行JAR包完整性校验。Windows操作系统下，打开本地命令提示符框，输入如下命令，在本地生成已下载JAR包的SHA256值，其中，“D:\wordcount.jar”为JAR包的
示例场景说明 步骤1：流程设计 步骤2：数据准备 步骤3：数据集成 步骤4：元数据采集 步骤5：数据架构设计 步骤6：数据开发处理 步骤7：数据质量监控 步骤8：数据资产查看 步骤9：服务退订
的遵从 5 数据质量 有哪些需求，需要获得什么价值？ 监控数据质量 支持更多数据源和更多规则的监控 作业数量规模是多少？ 本示例仅1个 用户可手动创建几十个作业，也可以在数据架构中配置自动生成数据质量作业。如果调用数据质量监控的创建接口，则可创建超过100个质量作业 用户的使用场景？
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
