-
获取SQL节点的输出结果值 - 数据治理中心 DataArts Studio
选择“空间管理”页签,在工作空间列表中,找到所需要的工作空间,单击工作空间的“数据开发”,系统跳转至数据开发页面。 在“作业开发”页面,新建数据开发子作业EL_test_slave。选择一个Kafka Client节点,并配置作业参数,编排图6所示的作业。 此处需将参数名填写为name和score,仅用于主作业的For
-
Import GES - 数据治理中心 DataArts Studio
如果作业节点配置了重试,并且配置了超时时间,该节点执行超时后,系统支持再重试。 当节点运行超时导致的失败不会重试时,您可前往“默认项设置”修改此策略。 当“失败重试”配置为“是”才显示“超时重试”。 当前节点失败后,后续节点处理策略 是 节点执行失败后的操作: 终止后续节点执行计划:停止后续节点的运行,当前作业实例状态显示为“失败”。
-
ETL Job - 数据治理中心 DataArts Studio
如果作业节点配置了重试,并且配置了超时时间,该节点执行超时后,系统支持再重试。 当节点运行超时导致的失败不会重试时,您可前往“默认项设置”修改此策略。 当“失败重试”配置为“是”才显示“超时重试”。 当前节点失败后,后续节点处理策略 是 节点执行失败后的操作: 终止后续节点执行计划:停止后续节点的运行,当前作业实例状态显示为“失败”。
-
场景说明 - 数据治理中心 DataArts Studio
场景说明 图引擎服务(Graph Engine Service,简称GES)是针对以“关系”为基础的“图”结构数据,进行查询、分析的服务,并广泛应用于社交关系分析、营销推荐、舆情及社会化聆听、信息传播、防欺诈等具有丰富关系数据的场景。 在DataArts Studio中,您可以将
-
获取SQL节点的输出结果值 - 数据治理中心 DataArts Studio
选择“空间管理”页签,在工作空间列表中,找到所需要的工作空间,单击工作空间的“数据开发”,系统跳转至数据开发页面。 在“作业开发”页面,新建数据开发子作业EL_test_slave。选择一个Kafka Client节点,并配置作业参数,编排图6所示的作业。 此处需将参数名填写为name和score,仅用于主作业的For
-
FTP/SFTP连接 - 数据治理中心 DataArts Studio
linkConfig.server 是 String FTP或SFTP服务器的地址。 linkConfig.port 是 String FTP或SFTP服务器端口号。 linkConfig.username 是 String 登录FTP或SFTP服务器的用户名。 linkConfig.password
-
查询数据标准模板 - 数据治理中心 DataArts Studio
and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"] projectId = "{project_id}"
-
数据血缘方案概述 - 数据治理中心 DataArts Studio
程度的描述信息形成了数据的层次。 DataArts Studio生成的血缘关系图如图1所示,为数据表对象,为作业节点对象,通过对象和箭头的编排表示血缘信息。从血缘关系图中可以看到,wk_02表数据是由wk_01表数据经过hive_1作业节点加工而生成的,wk_02表数据经由hiv
-
配置Oracle目的端参数 - 数据治理中心 DataArts Studio
详细说明请参见使用时间宏变量完成增量同步。 说明: 如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时,系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”,而不是“CDM作业实际启动时间-偏移量”。 table 导入开始前 导入数据前,选择是否清除目的表的数据:
-
获取质量作业详情 - 数据治理中心 DataArts Studio
and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"] projectId = "{project_id}"
-
新建脚本 - 数据治理中心 DataArts Studio
脚本,开发脚本前请先新建脚本。 前提条件 已完成新建数据连接和新建数据库等操作。 脚本在每个工作空间的最大配额为10000,脚本目录最多5000个,目录层级最多为10层。请确保当前数量未达到最大配额。 操作步骤 新建目录(可选,如果已存在可用的目录,可以不用新建目录) 参考访问DataArts
-
获取指标关联信息 - 数据治理中心 DataArts Studio
and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"] projectId = "{project_id}"
-
查看关系详情 - 数据治理中心 DataArts Studio
and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"] projectId = "{project_id}"
-
创建流程架构 - 数据治理中心 DataArts Studio
and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"] projectId = "{project_id}"
-
修改流程架构 - 数据治理中心 DataArts Studio
and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"] projectId = "{project_id}"
-
查找版本信息 - 数据治理中心 DataArts Studio
and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"] projectId = "{project_id}"
-
Oracle迁移到DWS报错ORA-01555 - 数据治理中心 DataArts Studio
使用CDM迁移Oracle数据至DWS,报错图1所示。 图1 报错现象 原因分析 数据迁移,整表查询且该表数据量大,那么查询时间较长。 查询过程中,其他用户频繁进行commit操作。 Oracel的RBS(rollbackspace 回滚时使用的表空间)较小,造成迁移任务没有完成,源库已更新,回滚超时。 建议与总结 调小每次查询的数据量。
-
StringUtil内嵌对象 - 数据治理中心 DataArts Studio
StringUtil内嵌对象 StringUtil内嵌对象提供了一系列字符串操作方法,例如从一个字符串中截取一个子字符串。 StringUtil内部是由org.apache.commons.lang3.StringUtils实现的,具体使用方法请参考apache commons文档。
-
配置MySQL/SQL Server/PostgreSQL目的端参数 - 数据治理中心 DataArts Studio
ma。单击输入框后面的按钮可选择模式或表空间。 schema 自动创表 只有当源端为关系数据库时,才有该参数。表示写入表数据时,用户选择的操作: 不自动创建:不自动建表。 不存在时创建:当目的端的数据库没有“表名”参数中指定的表时,CDM会自动创建该表。如果“表名”参数配置的表已
-
脚本及作业中引用参数使用介绍 - 数据治理中心 DataArts Studio
}两种,支持用户根据实际情况进行配置。配置的变量格式会作用于SQL脚本、作业中SQL语句、单节点作业,环境变量。配置脚本变量格式的操作请参见脚本变量定义。 系统默认脚本变量格式为${}。 环境变量 环境变量中支持定义变量和常量,环境变量的作用范围为当前工作空间。 变量是指不同的空间下取