-
补数据场景使用介绍 - 数据治理中心 DataArts Studio
只有数据开发作业配置了周期调度,才支持使用补数据功能。 使用案例 案例场景 在某企业的产品数据表中,有一个记录产品销售额的源数据表A,现在需要把产品销售额的历史数据导入的目的表B里面,需要您配置补数据作业的相关操作。 需要导入的列表情况如表1所示。 表1 需要导入的列表情况 源数据表名 目的表名 A B 配置方法
-
补数据场景使用介绍 - 数据治理中心 DataArts Studio
只有数据开发作业配置了周期调度,才支持使用补数据功能。 使用案例 案例场景 在某企业的产品数据表中,有一个记录产品销售额的源数据表A,现在需要把产品销售额的历史数据导入的目的表B里面,需要您配置补数据作业的相关操作。 需要导入的列表情况如表1所示。 表1 需要导入的列表情况 源数据表名 目的表名 A B 配置方法
-
配置角色 - 数据治理中心 DataArts Studio
以在展开的导航树中,单击对应数据操作列中的“授权”,进行单一授权。 数据视图授权时,系统也提供了“快速模式”和“显示无权限的数据”功能。开启快速模式的情况下,库表列的元数据会从数据目录获取,否则会从数据源获取元数据。已完成元数据采集的场景下推荐开启快速模式。 值得注意的是,库、表
-
创建企业模式工作空间 - 数据治理中心 DataArts Studio
择同一个集群,如图2所示,则需要配置数据源资源映射的DB数据库映射关系进行开发生产环境隔离,如图3所示。详细操作请参见DB配置。 图2 创建数据连接时选择同一个集群 图3 DB配置 数据准备与同步 数据湖服务创建完成后,您需要按照项目规划(例如数据开发需要操作的库表等),分别在开
-
For Each节点使用介绍 - 数据治理中心 DataArts Studio
SQL节点,编排图3所示的作业。 DLI SQL的语句中把要替换的变量配成${}这种参数的形式。在下面的SQL语句中,所做的操作是把${Source}表中的数据全部导入${Destination}中,${fromTable}、${toTable} 就是要替换的变量参数。SQL语句为:
-
批作业监控 - 数据治理中心 DataArts Studio
单击“批作业监控”页签,进入批作业的监控页面。 在作业的“操作”列,选择“更多 > 查看作业依赖关系图”。 在弹出的“作业依赖关系视图”页面,支持如下操作: 视图右上角支持“显示完整依赖图”、“显示当前作业及其上下游”和“显示当前作业及其直接上下游”。 视图右上角支持按节点名称进行搜索,搜索出来的作业节点高亮显示。
-
For Each节点使用介绍 - 数据治理中心 DataArts Studio
SQL节点,编排图3所示的作业。 DLI SQL的语句中把要替换的变量配成${}这种参数的形式。在下面的SQL语句中,所做的操作是把${Source}表中的数据全部导入${Destination}中,${fromTable}、${toTable} 就是要替换的变量参数。SQL语句为:
-
通过CDM节点批量创建分表迁移作业 - 数据治理中心 DataArts Studio
接管理界面。 图1 创建MySQL连接 表1 MySQL数据库连接参数 参数名 说明 取值样例 名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 mysql_link 数据库服务器 配置为要连接的数据库的IP地址或域名。 单击输入框后的“选择”,可获取用户的MySQL数据库实例列表。
-
新建连接 - 数据治理中心 DataArts Studio
Studio服务进入数据集成界面可以看到。 在CDM主界面,单击左侧导航上的“集群管理”,选择CDM集群后的“作业管理 > 连接管理 > 新建连接”。选择连接器类型,如图2所示。 这里的连接器类型,是根据待连接的数据源类型分类的,包含了CDM目前支持导入/导出的所有数据源类型。 图2 选择连接器类型 选择数据源类型后
-
步骤1:流程设计 - 数据治理中心 DataArts Studio
供应商2017年度的运营数据。基于需求分析和业务调研,数据治理业务流程设计如图1所示,后续的数据治理操作均基于本业务流程完成。 图1 流程设计 需求分析 通过需求分析,可以提炼出数据治理流程的实现框架,支撑具体数据治理实施流程的设计。 在本示例场景下,当前面临的数据问题如下: 未建立标准化模型
-
注册API - 数据治理中心 DataArts Studio
请求参数位置支持Path、Header、Query,不同的请求方式所支持的可选参数位置不一样,请根据产品上提供的可选项按需选择。 常量参数 常量参数即参数值是固定的参数,对调用者不可见,API调用时不需传入常量参数,但后台服务始终接收这里定义好的常量参数及参数值。适用于当您希望把API的某个参数的取值固定为某个值以及要对调用者隐藏参数的场景。
-
搜索查询标签分页展示(邀测) - 数据治理中心 DataArts Studio
Integer 页码。 count Integer 查询出来的条数。 quota Integer 可创建标签数量配额额。 tags Array of OpenTag objects 标签实体。 total Integer 已创建的标签总条数。 表5 OpenTag 参数 参数类型 描述
-
新建MySQL连接 - 数据治理中心 DataArts Studio
数据库的用户名,创建集群的时候,输入的用户名。 密码 是 数据库的访问密码,创建集群的时候,输入的密码。 单击“测试”,测试数据连接的连通性。如果无法连通,数据连接将无法创建。 测试通过后,单击“确定”,创建数据连接。 参考 创建RDS类型的数据连接时,需要注意哪些事项? 创建RDS类型的数据连接时,
-
支持的数据类型 - 数据治理中心 DataArts Studio
smallint类型的数据占用了两个字节的存储空间,其中一个二进制位表示整数值的正负号,其它15个二进制位表示长度和大小,可以表示-2的15次方~2的15次方-1范围内的所有整数。 SMALLINT SMALLINT NUMBER tinyint tinyint类型的数据占用了一个字节的存储空
-
新建MRS Hive连接 - 数据治理中心 DataArts Studio
说明: MRS 3.1.0及之后版本集群,所创建的用户至少需具备Manager_viewer的角色权限才能在管理中心创建连接;如果需要对应组件的进行库、表、数据的操作,还需要添加对应组件的用户组权限。 MRS 3.1.0版本之前的集群,所创建的用户需要具备Manager_adminis
-
基本概念 - 数据治理中心 DataArts Studio
数据源 即数据的来源,本质是讲存储或处理数据的媒介,比如:关系型数据库、数据仓库、数据湖等。每一种数据源不同,其数据的存储、传输、处理和应用的模式、场景、技术和工具也不相同。 源数据 源数据强调数据状态是“创建”之后的“原始状态”,也就是没有被加工处理的数据。在数据管理的过程中,源数
-
调度作业 - 数据治理中心 DataArts Studio
中一种。对于新的应用实例而言,默认使用自然周期调度作为DataArts Studio新实例默认选项。 图1 传统周期调度作业依赖关系全景图 图2 自然周期调度作业依赖关系全景图 关于设置依赖作业的条件,以及设置依赖作业后的作业运行原理请参见周期调度依赖策略。 依赖的作业失败后,当前作业处理策略
-
是否支持字段转换? - 数据治理中心 DataArts Studio
isNumeric(value) 获取字符串最左端的指定长度的字符,例如获取“abc”最左端的2位字符“ab”。 表达式:StringUtils.left(value,2) 获取字符串最右端的指定长度的字符,例如获取“abc”最右端的2位字符“bc”。 表达式:StringUtils
-
配置字段映射 - 数据治理中心 DataArts Studio
isNumeric(value) 获取字符串最左端的指定长度的字符,例如获取“abc”最左端的2位字符“ab”。 表达式:StringUtils.left(value,2) 获取字符串最右端的指定长度的字符,例如获取“abc”最右端的2位字符“bc”。 表达式:StringUtils