检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
txt 监测文件:监测文件或目录是否存在,如不存在则此节点运行失败,否则运行成功。 如果当前作业需要根据文件或目录是否存在,从而进行不同的处理,则可以根据本节点的执行状态设置IF条件判断,具体请参考IF条件判断教程章节。 源文件或目录 是 OBS桶中需要被管理的OBS文件或所在目录。
问控制策略。 具有DWS管理员权限的用户和初始运维用户(Ruby)不受行访问控制影响,可以查看表的全量数据。 通过SQL语句、视图、函数、存储过程查询包含行级访问控制策略的表,都会受影响。 同步行访级问控制策略后,不支持对行访问控制策略依赖的列进行类型修改。 创建行级访问控制策略
取消:创建采集任务的时候,配置“数据分类”为“手动同步分类结果”时,才可进行此操作。状态为执行中的实例,单击取消,可终止重跑此实例。 更多 > 扫描结果:创建采集任务的时候,配置“数据分类”为“手动同步分类结果”时,才可进行此操作。可用于查看采集任务实例执行结果,确认分类结果是否匹配。
“_”,且长度为1~64个字符。 描述 为更好的识别业务场景 ,此处加以描述信息。描述信息长度不能超过256个字符。 所属目录 业务场景的存储目录,可选择已创建的目录。目录创建请参见图1。 业务级别 支持提示、一般、严重和致命四种业务级别,业务级别决定发出通知消息的模板样式。 规则组配置
数”参数分片的情况。 CDM依次将Task提交给运行池运行。根据集群配置管理中的“最大抽取并发数”参数,超出规格的Task排队等待运行。 如何调整抽取并发数 集群最大抽取并发数的设置与CDM集群规格有关,并发数上限建议配置为vCPU核数*2,如表1所示。 表1 集群最大抽取并发数配置建议
#{JSONUtil.path(str,"cities[0].areaCode")} current For Each节点在处理数据集的时候,是一行一行进行处理的。Loop.current表示当前遍历到的For Each节点“数据集”中定义的二维数组的某一行,该数据行为一维数组。 一般定义格式为#{Loop
式定义规则。 业务场景管理 业务场景可以认为是业务指标质量作业,将创建的规则组进行调度运行。 运维管理 运维管理用于查看业务场景运行状态,处理运维问题。其中我的订阅中显示了所有订阅的任务运行情况。 父主题: 业务指标监控(待下线)
进行数据质量监控。 对账作业 对账作业可将创建的规则应用到两张表中进行质量监控,并输出对账结果。 运维管理 运维管理用于查看规则运行状态,处理运维问题。 质量报告 系统根据作业的结果,会自动生成质量报告。 父主题: 数据质量监控
成功与否。 自然天:[00:00:00-23:59:59] 自然小时: [00:00-59:59] 图2 自然周期调度作业依赖关系全景图 如何确认当前的周期调度依赖是传统周期调度依赖还是自然周期调度依赖? 自然周期调度在2023年6月开始全网使用。对于在此时间之后创建的租户,其所
QL语句。 merge into loader线程数 每个loader内部启动的线程数,可以提升写入并发数。并发场景下有如下限制:约束冲突处理策略不支持"replace into"或"on duplicate key update"。 1 stream load 配置参数 stream
添加高级属性 表1 DWS写入优化参数 参数名 类型 默认值 说明 写入模式 enum UPSERT DWS的写入模式,可在目的端配置中设置,实时处理集成作业推荐使用COPY MODE。 UPSERT:为批量更新入库模式。 COPY:为DWS专有的高性能批量入库模式。 批写最大数据量 int
添加高级属性 表1 DWS写入优化参数 参数名 类型 默认值 说明 写入模式 enum UPSERT DWS的写入模式,可在目的端配置中设置,实时处理集成作业推荐使用COPY MODE。 UPSERT:为批量更新入库模式。 COPY:为DWS专有的高性能批量入库模式。 批写最大数据量 int
存问题,请解决表的条数适当调整该值。 当scan.incremental.snapshot.backfill.skip为false时,实时处理集成作业会缓存单个分片的数据,此时分片越大,占用内存越多,引发内存溢出,在此场景下,可以考虑降低分片大小。 scan.snapshot.fetch
Studio实例根据不同版本,包含了不同的组件和规格,具体请参见如何选择DataArts Studio版本。 包年包月 DataArts Studio基础包不含其他相关云服务所产生的费用,例如弹性公网IP、对象存储服务等。 DataArts Studio基础包的计费详情,请参见数据治理中心价格详情。
准关联到各个业务上的数据库中。其中,标识符、数据类型、表示格式、值域是数据交换的基础,它们用于描述表的字段元信息,规范字段所存储的数据信息。 本章节介绍如何创建数据标准,创建好的数据标准,可用于在关系建模中新建业务表时与业务表中的字段相关联,从而约束业务表中的字段遵从指定的数据标准。
动创建目录,如/dir/a/,默认在根目录/。 processType 是 String 作业类型: REAL_TIME :实时处理 BATCH:批处理 id 否 Long 作业Id。用户查询作业时使用。 createTime 否 Long 作业创建时间。 downstreamJobs
下线时间必须选择在API发布后的最低保留期限时间之后。选择下线时间后,下线操作会通知已授权用户。如果所有已授权用户均完成审核中心通知列表消息处理,或在应用中解绑与API的绑定关系,API就会直接下线;否则会以待下线状态,等待达到下线时间,再强制下线。 删除API 在DataArts
TRUNCATE+LOAD:TRUNCATE方式会在导入前执行TRUNCATE语句清空填写的分区数据,再进行LOAD写入数据。 LOAD:写入前不做任何处理。 INSERT_OVERWRITE:对数据进行覆盖写入。 LOAD 分区 分区信息,表为分区表的时候,写数据的时候,可以选择需要写入的分区数据。
可以将任务添加至基线上,并设置基线承诺时间,当系统预测到基线上任务无法在承诺时间前完成,或上游任务有出错或变慢的情况,将发送报警信息,用户可以根据报警信息及时处理问题,保障任务在承诺时间前运行完成。 相关概念 基线:用户将重要任务加到基线上并设置承诺时间后,系统将根据任务运行情况计算基线任务的预计完
组件创建集成作业时支持选择本数据连接。 离线处理集成作业功能当前需申请白名单后才能使用。如需使用该特性,请联系客服或技术支持人员。 基础与网络连通配置 IP或域名 是 GBASE数据源的访问地址,可填写为IP或域名。 端口 是 关系型数据库数据源的访问端口。 KMS密钥 是 通过