检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
选择是否拆分Rowkey,例如“true”。 fromJobConfig.delimiter 否 String 用于切分Rowkey的分隔符,若不设置则不切分,例如“|”。 fromJobConfig.startTime 否 String 时间区间左边界(包含该值),格式为“yyyy-MM-dd
D。 请求参数 表2 请求Header参数 参数名 是否必选 参数类型 说明 workspace 否 String 工作空间id。 如果不设置该参数,默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据,需要带上该消息头。 响应参数 响应消息的Content-
le的表需要提前创建好。 SQL模板 否 单击“配置”按钮获取SQL模板。 表2 高级参数 参数 是否必选 说明 节点执行的最长时间 是 设置节点执行的超时时间,如果节点配置了重试,在超时时间内未执行完成,该节点将会再次重试。 失败重试 是 节点执行失败后,是否重新执行节点。 是:重新执行节点,请配置以下参数。
环比增长率 描述 描述信息。支持的长度为0~600个字符。 表达式 *设定表达式 选择所需要的衍生指标或复合指标,并根据实际需求在“表达式”中设置表达式。 同比增长率 *同比配置 选择年同比、月同比或者周同比。 *设定衍生指标 选择所需要的衍生指标,此处仅展示有时间限定衍生指标。系统
分析数据 通过DLI直接对OBS数据进行贸易统计分析。 前提条件 DLI创建OBS外表,对OBS表数据存储格式有所要求: 使用DataSource语法创建OBS表时,支持orc,parquet,json,csv,carbon,avro类型。 使用Hive语法创建OBS表时,支持TEXTFILE
Hive开启LDAP认证时配置的密码。 - OBS支持 需服务端支持OBS存储。在创建Hive表时,您可以指定将表存储在OBS中。 否 访问标识(AK) 当“OBS支持”参数选择为“是”时,此参数是必选项。请注意,此处AK/SK对应的账号应具备OBS Buckets Viewer系统权限,否则会无法访问OBS并报“403
作业名称。 请求参数 表2 请求Header参数 参数名 是否必选 参数类型 说明 workspace 否 String 工作空间id。 如果不设置该参数,默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据,需要带上该消息头。 表3 参数说明 参数名 是否必选 参数类型
原作业名称。 请求参数 表2 请求Header参数 参数名 是否必选 参数类型 说明 workspace 否 String 工作空间id。 如果不设置该参数,默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据,需要带上该消息头。 X-Auth-Token 否 String
单击“下一步”进入“规则配置”页面,配置质量作业的相关规则。在“计算范围”的“条件扫描”里面配置数据质量作业参数,如下图所示。 图1 设置数据质量参数 单击“下一步”,依次配置告警、订阅、调度等信息。配置质量作业的详细操作请参见新建质量作业。 单击“提交”。数据质量作业配置完成。
该链路目前需申请白名单后才能使用。如需使用该链路,请联系客服或技术支持人员。 Oracle同步到MRS Hudi作业配置 消息系统 DMS Kafka 对象存储:OBS DMS Kafka同步到OBS作业配置 Apache Kafka Hadoop:MRS Kafka 说明: 该链路目前需申请白名单后才能使用。如需使用该链路,请联系客服或技术支持人员。
描述 描述信息。 单击“确定”,任务组创建完成。 配置完成后,请前往作业开发界面,在所需作业画布右侧“调度配置”页签,选择任务组,即可按照设置好的任务组更细粒度的进行当前任务组中的作业节点的并发数控制。 后续操作 修改:单击“修改”,可以修改已配置好的任务组。任务组的修改是实时生效的。
目的端数据库中的对象名需要满足约束:长度不超过63个字符,以字母或下划线开头,中间字符可以是字母、数字、下划线、$。 源数据库的分区表触发器不可以设置为disable。 如果做增量同步:源数据库的“pg_hba.conf” 文件中包含如下的配置: host replication all
据开发模块中关联到此JAR包。 创建数据开发模块作业,通过DLI Spark节点提交Spark作业。 环境准备 已开通对象存储服务OBS,并创建桶,例如“obs://dlfexample”,用于存放Spark作业的JAR包。 已开通数据湖探索服务DLI,并创建Spark集群“sp
403 Forbidden 请求被拒绝访问。 返回该状态码,表明请求能够到达服务端,且服务端能够理解用户请求,但是拒绝做更多的事情,因为该请求被设置为拒绝访问,建议直接修改该请求,不要重试该请求。 404 NotFound 所请求的资源不存在。 建议直接修改该请求,不要重试该请求。 405
表。 请求参数 表2 请求Header参数 参数名 是否必选 参数类型 说明 workspace 否 String 工作空间id。 如果不设置该参数,默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据,需要带上该消息头。 表3 参数说明 参数名 是否必选 类型
作业日志和DLI脏数据默认存储在以dlf-log-{Project id}命名的OBS桶中,您也可以自定义日志和DLI脏数据存储路径,支持基于工作区全局配置OBS桶。 约束限制 该功能依赖于OBS服务。 OBS路径仅支持OBS桶,不支持并行文件系统。 前提条件 修改工作空间的用户账号,需要满足如下任一条件:
是否校验,默认否。 请求参数 表2 请求Header参数 参数名 是否必选 参数类型 说明 workspace 否 String 工作空间id。 如果不设置该参数,默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据,需要带上该消息头。 表3 Connection参数说明 参数名
作业定义文件在OBS上的路径。例如obs://myBucket/jobs.zip。 workspace 否 String 工作空间id。 如果不设置该参数,默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据,需要带上该消息头。 响应参数 表3 参数说明 参数名 是否必选
数据识别规则页面。 单击页面上方“规则分组”页签,进入分组列表页面。 图1 新建数据识别规则组 单击“新建”,输入新建分组名称和描述,参数设置参考表1,并勾选左侧列表中的识别规则。配置完成后单击“确定”即可。 图2 新建分组参数配置 您所勾选的规则将显示在右侧列表中,右侧已选列表
隔。 正则表达式参数在源端作业参数中配置,要求源连接为对象存储或者文件系统,且“文件格式”必须选择“CSV格式”。 图1 正则表达式参数 在迁移CSV格式的文件时,CDM支持使用正则表达式分隔字段,并按照解析后的结果写入目的端。正则表达式语法请参考对应的相关资料,这里举例下面几种日志文件的正则表达式的写法: