检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
提示已存在相关子规则和质量作业,您可看到已有规则。 单击“下一步”以后,设置告警配置信息。如果您在上一步的规则配置中已配置告警表达式,此处会自动带出已配置的表达式;如果未配置,则您可在此进行配置。配置多条(2条及以上)子规则时,则可以选择如下两种告警配置方式之一进行配置: 支持通过子规则的告警条件,分别上报告警。
账作业”。 单击“新建”,配置对账作业的基本信息,如下图所示。 图1 配置基本信息 单击“下一步”,进入规则配置页面。您需要单击规则卡片中的,然后配置对账规则,如下图所示。 需要分别配置源端和目的端的信息。配置源端连接请参见DWS数据连接参数说明,配置目的端连接请参见DLI数据连接参数说明。
DataMaskParas objects 数据脱敏配置。 body 否 String 请求体内容描述,仅注册类API使用。 datasource_config_list 否 Array of DatasourceConfig objects 多数据源配置信息,仅Groovy类API使用。 groovy_content
打开“通知抑制”后,告警上报的通知策略可以进行配置,在最近N分钟以内,连续N次告警,则发送告警通知。最近时间可支持配置1~360分钟,连续次数可支持配置1~10次。 单击“下一步”,选择调度方式,支持单次调度和周期调度两种方式,周期调度的相关参数配置请参见表3。配置完成后单击“提交”。 单次调度
Studio管理中心提供了统一的配置和管理入口,可以管理数据连接、资源迁移等,根据需要定制个性化的入口和展示。 DataArts Studio支持的数据源 创建DataArts Studio数据连接 配置DataArts Studio数据连接参数 配置DataArts Studio资源迁移 配置DataArts
终端协议 通知方式选择“按责任人”时才需配置。 配置该参数前,请确保工作空间默认项设置中已配置作业告警通知主题。 短信 邮件 电话 单击“校验联系方式”,系统会自动校验基线责任人信息是否已配置。如果基线责任人信息未配置,请前往终端订阅管理界面进行配置,以确保告警能被正常接收。 单击“查
导入作业,选择已上传至OBS或者本地中的作业文件,以及重名处理策略。 在硬锁策略下,如果锁在其他人手中,重名策略选择了覆盖,则会覆盖失败。软硬锁策略请参考配置软硬锁策略。 图3 导入作业定义及依赖 单击“下一步”,根据提示导入作业。 导入作业时,如果作业中存在“锁定”状态的标签,则作业导入会失败。
因为此表达式只能直接获取当前作业里配置的参数的value,并不能获取到父作业传递过来的参数值,也不能获取到工作空间里面配置的全局变量,作用域仅为本作业。 而表达式${job_param_name},既可以获取到父作业传递过来的参数值,也可以获取到全局配置的变量。 图7 配置Kafka Client节点参数
Hadoop:MRS Hudi MySQL同步到MRS Hudi作业配置 MySQL数据库建议使用版本:5.6、5.7、8.x版本。 Hudi建议使用版本:0.11.0。 消息系统:DMS Kafka MySQL同步到Kafka作业配置 MySQL数据库建议使用版本:5.6、5.7、8.x版本。
添加审核人 管理配置中心 数据架构中提供了丰富的自定义选项,统一通过配置中心提供,您可以根据自己的业务需要进行自定义配置。 在数据架构控制台,单击左侧菜单栏的“配置中心”,进入配置中心页面。 进入“功能配置”页签,如下图所示,设置“模型设计业务流程步骤”。 图2 功能配置 单击“确定”完成配置。
、下载和删除。 图1 下载中心 配置默认的OBS路径地址 工作空间的管理员可以配置当前工作空间的默认OBS转储路径。 选择“数据开发 > 下载中心”进入。 单击“配置OBS默认地址”进入“配置OBS默认路径”页面。 配置默认的OBS路径。 此处配置的OBS路径,是脚本开发或者单任
解密的使用方法。 源端配置解密 创建从HDFS导出文件的CDM作业时,源端数据源选择HDFS、文件格式选择二进制格式后,在“源端作业配置”的“高级属性”中,配置如下参数。 加密方式:选择“AES-256-GCM”。 数据加密密钥:这里的密钥必须与加密时配置的密钥一致,否则解密出来的数据会错误,且系统不会提示异常。
图1 集群最大抽取并发数配置 作业抽取并发数的配置原则如下: 迁移的目的端为文件时,CDM不支持多并发,此时应配置为单进程抽取数据。 表中每行数据大小为1MB以下的可以设置多并发抽取,超过1MB的建议单线程抽取数据。 作业抽取并发数可参考集群最大抽取并发数配置,但不建议超过集群最大抽取并发数上限。
当您新建或编辑维度后,对维度进行发布,如果同步状态中存在失败,可以对维度表手动进行同步。 同步时,系统将根据“配置中心 > 功能配置”页面中的“数据表更新方式”执行相应的同步操作,详情请参见功能配置。 维度表关联了质量规则进行发布后,在数据质量作业目录上面单击“同步主题为目录”后,数据架构自动
linkConfig.user 否 String 登录Manager平台的用户名,使用集群配置时不用配置 linkConfig.password 否 String 登录Manager平台的密码,使用集群配置时不用配置 linkConfig.authType 否 枚举 认证类型,分为以下两种:
进入数据质量页面。 选择“业务指标监控 > 业务场景管理”。 单击“新建”,在弹出的对话框中,参见表2配置相关参数,新建场景。 表2 配置业务场景参数 参数名 说明 基本配置 业务场景名称 业务场景的名称,只能包含中文、英文字母、数字、“_”,且长度为1~64个字符。 描述 为更好的识别业务场景
手动配置血缘,是在数据开发作业节点中,自定义血缘关系的输入表和输出表。注意手动配置血缘时,此节点的自动血缘解析将不生效。支持手动配置血缘的节点类型请参见手动配置血缘。 数据血缘的展示: 首先在数据目录组件完成元数据采集任务,当数据开发作业满足自动血缘解析要求或已手动配置血缘,然
引擎已经经过几百个应用的检验。 运维监控 支持对作业进行运行、暂停、恢复、终止等多种操作。 支持查看作业和其内各任务节点的运行详情。 支持配置多种方式报警,作业和任务发生错误时可及时通知相关人,保证业务正常运行。 数据质量:可控可检验 数据质量模块支持对业务指标和数据质量进行监控
单击左侧“动态资源计划”进入动态资源计划页面。 图1 修改AM资源 选择“队列配置”。 单击需要修改的租户名(队列)后面的“修改”,进入修改队列配置页面。 修改“AM最多占有资源(%)”参数后面的配置值。 根据实际需要将所配置的值调大即可。 父主题: 数据开发
因为此表达式只能直接获取当前作业里配置的参数的value,并不能获取到父作业传递过来的参数值,也不能获取到工作空间里面配置的全局变量,作用域仅为本作业。 而表达式${job_param_name},既可以获取到父作业传递过来的参数值,也可以获取到全局配置的变量。 图7 配置Kafka Client节点参数