检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如果勾选了空跑,该节点不会实际执行,将直接返回成功。 任务组 否 选择任务组。任务组配置好后,可以更细粒度的进行当前任务组中的作业节点的并发数控制,比如作业中包含多个节点、补数据、重跑等场景。 表3 血缘关系 参数 说明 输入 新建 单击“新建”,在“类型”的下拉选项中选择要新建的类型。可以选择DWS,
如果勾选了空跑,该节点不会实际执行,将直接返回成功。 任务组 否 选择任务组。任务组配置好后,可以更细粒度的进行当前任务组中的作业节点的并发数控制,比如作业中包含多个节点、补数据、重跑等场景。 表3 血缘关系 参数 说明 输入 新建 单击“新建”,在“类型”的下拉选项中选择要新建的类型。可以选择DWS,
Studio控制台。选择实例,单击“进入控制台”,选择对应工作空间的“数据开发”模块,进入数据开发页面。 在数据开发主界面的左侧导航栏,选择“数据开发 > 作业开发”。 创建一个批处理的Pipeline作业并进入作业配置页面。 选择Data_Quality_Monitor数据质量监控算子,将该节点拖入空白页面。并配置节点属性参数。
默认策略允许修改和删除。 如果没有任何下载权限策略,则默认放开所有用户的导出权限。 如果存在一条或多条下载权限策略,用户的最终权限取决于多个策略中的用户权限并集。对于非授权对象的普通用户(即非DAYU Administrator、Tenant Administrator或数据安
调用API示例 示例演示如何访问发布的API。 您需要在数据服务控制台自行创建和发布一个API。创建及发布API的步骤请参见创建API和发布API章节。 示例API的后端为打桩的HTTP服务,此后端返回一个“200”响应码及“Congratulations, sdk demo is running”消息体。
海量的、分散在不同角落的数据导致了数据资源利用的复杂性和管理的高难度。企业无法从统一的业务视角去概览整个企业内部的数据信息。暴露出来的只是一个个独立的系统,系统与系统之间的关系、标准数据从哪里获取都无从知晓。 数据是企业争夺优质客户的关键 数据是企业的生命线,谁掌握了准确的数据谁
面。 图1 选择数据指标 在数据指标控制台,单击左侧导航树中的“指标开发”,选择“衍生指标”页签进入衍生指标页面。 在左侧的流程目录中选中一个流程,单击“新建”按钮,开始新建衍生指标。 在新建衍生指标页面,根据页面提示配置基本信息参数。在本示例中,需要创建地区销售额和地区经营面积两个衍生指标数据。
featureTag:将每一条数据都打tag标签。 startEndMark:默认是为false。设置为true时,写入消息前将会同步一个开始消息和结束的消息。 columnAsKey:指定写入数据key值,也可以通过指定字段值作为key,通过配置@{column1}--@{column2}。
$[yyyymmdd±N] 前/后N小时 获取该时间数据包含如下两种方式: $[hh24miss±N/24] $[自定义时间格式±N/24]。 例如,取前一个小时的不同时间格式: 取月:$[mm-1/24]。 取年:$[yyyy-1/24]。 取年月:$[yyyymm-1/24]。 取年月日:$[yyyymmdd-1/24]。
如果勾选了空跑,该节点不会实际执行,将直接返回成功。 任务组 否 选择任务组。任务组配置好后,可以更细粒度的进行当前任务组中的作业节点的并发数控制,比如作业中包含多个节点、补数据、重跑等场景。 父主题: 节点参考
指定每次请求获取的行数,根据数据源端和作业数据规模的大小配置该参数。如果配置过大或过小,可能影响作业的时长。 1000 连接属性 可选参数,单击“添加”可增加多个指定数据源的JDBC连接器的属性,参考对应数据库的JDBC连接器说明文档进行配置。 sslmode=require 引用符号 可选参数,连
例:request.addQueryStringParam("param"," xxx"); 示例2: 直接拼接到url后面,以?开头,多个参数以&连接 原url:http://域名/p1 实际url:http://域名/p1?param=xxx¶m2=xxx2 header参数
下的DataArts Studio数据集成模块中的CDM集群,执行自动实时监控、告警和通知操作。用户可以实时掌握集群运行中所产生的网络流入速率、网络流出速率、CPU使用率、内存使用率、磁盘利用率、失败作业率等信息。 关于DataArts Studio支持的监控指标,以及如何创建监控告警规则等内容,请参见查看监控指标。
参数位置:在创建表/文件迁移作业时,如果源端为关系型数据库,那么在源端作业参数的高级属性下面可以看到“Where子句”参数。 参数原理:通过“Where子句”参数可以配置一个SQL语句(例如:age > 18 and age <= 60),CDM只导出该SQL语句指定的数据;不配置时导出整表。 Where子句支
参数位置:在创建表/文件迁移作业时,如果源端为关系型数据库,那么在源端作业参数的高级属性下面可以看到“Where子句”参数。 参数原理:通过“Where子句”参数可以配置一个SQL语句(例如:age > 18 and age <= 60),CDM只导出该SQL语句指定的数据;不配置时导出整表。 Where子句支
如果勾选了空跑,该节点不会实际执行,将直接返回成功。 任务组 否 选择任务组。任务组配置好后,可以更细粒度的进行当前任务组中的作业节点的并发数控制,比如作业中包含多个节点、补数据、重跑等场景。 表3 血缘关系 参数 说明 输入 新建 单击“新建”,在“类型”的下拉选项中选择要新建的类型。可以选择DWS,
如果勾选了空跑,该节点不会实际执行,将直接返回成功。 任务组 否 选择任务组。任务组配置好后,可以更细粒度的进行当前任务组中的作业节点的并发数控制,比如作业中包含多个节点、补数据、重跑等场景。 表3 血缘关系 参数 说明 输入 新建 单击“新建”,在“类型”的下拉选项中选择要新建的类型。可以选择DWS,
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
retry_location 否 String 作业重跑的位置。error_node (从错误节点开始重跑) first_node (从第一个节点开始重跑)、 specified_node (从指定的节点开始) ,默认从重跑位置默认节点开始。 job_param_version 否
最早:表示从开始点位消费数据。 最新:表示从最后点位消费数据。已提交:拉取已提交的数据。起止时间策略,等待时间,最大抽取时间相互独立。只要有任意一个条件符合,则kafka抽取结束。 起止时间 起始时间 消费记录策略为起始时间时须设置起始时间。 格式为yyyy-MM-dd HH:mm:ss,支持配合DLF变量等方式设置