-
新建对账作业 - 数据治理中心 DataArts Studio
数”,“||”表示满足两个条件之一即会告警。 单击“下一步”,设置订阅配置信息,如果需要接收SMN通知,打开通知状态,选择通知类型和SMN服务主题,如图5。 图5 订阅配置 开启订阅配置后,每个满足通知类型的子作业都会发送通知。 如果开启告警,失败告警通知不需要单独配置,任务运行失败后会发送告警。
-
配置Oracle目的端参数 - 数据治理中心 DataArts Studio
细说明请参见使用时间宏变量完成增量同步。 说明: 如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时,系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”,而不是“CDM作业实际启动时间-偏移量”。 table 导入开始前 导入数据前,选择是否清除目的表的数据:
-
如何使用CDM服务将MySQL的数据导出成SQL文件,然后上传到OBS桶? - 数据治理中心 DataArts Studio
如何使用CDM服务将MySQL的数据导出成SQL文件,然后上传到OBS桶? CDM服务暂不支持该操作,建议通过手动导出MySQL的数据文件,然后在服务器上开启SFTP服务,然后新建CDM作业,源端是SFTP协议,目的端是OBS,将文件传过去。 父主题: 数据集成
-
发布作业任务 - 数据治理中心 DataArts Studio
图1 选择发布 发布之后,您可以通过“发布包管理”查看任务的发布状态。待审批通过后,任务发布成功。 支持通过“申请人”、“申请时间”、“发布时间”、“发布人”和“发布状态”进行发布项筛选。同时可以使用发布包名称进行模糊查询。 图2 查看任务状态 对于暂时不发布的发布项,开发者、部署者和管理员可以进行撤销。
-
配置OBS目的端参数 - 数据治理中心 DataArts Studio
KMS:使用数据加密服务中的KMS进行加密。如果启用KMS加密则无法进行数据的MD5校验。 详细使用方法请参见迁移文件时加解密。 KMS KMS ID 写入文件时加密使用的密钥,“加密方式”选择“KMS”时显示该参数。单击输入框后面的,可以直接选择在数据加密服务中已创建好的KMS密钥。
-
授权dlg - 数据治理中心 DataArts Studio
授权dlg_agency委托 云服务委托可将相关云服务的操作权限委托给DataArts Studio,让DataArts Studio以您的身份使用这些云服务,代替您进行一些任务调度、资源运维等工作。首次进入DataArts Studio控制台首页时,系统会弹出访问授权的对话框,
-
管理员操作 - 数据治理中心 DataArts Studio
及原始数据表等,您还需要将两套数据湖服务之间的数据进行同步: 数据湖中已有数据:通过CDM或DRS等数据迁移服务,在数据湖间批量同步数据。 数据源待迁移数据:通过对等的CDM或DRS等数据迁移服务作业进行同步,保证生产环境和开发环境的数据湖服务数据一致。 创建企业模式数据连接 对
-
配置HBase/CloudTable源端参数 - 数据治理中心 DataArts Studio
不切分。 | 起始时间 可选参数,起始时间(包含该值),格式为“yyyy-MM-dd HH:mm:ss”,表示只抽取该时间及以后的数据。 该参数支持配置为时间宏变量,使用时间宏变量和定时任务配合,可以实现定期同步新增数据,详细说明请参见使用时间宏变量完成增量同步。 说明: 如果配置了时间宏变量,通过DataArts
-
模型统计信息 - 数据治理中心 DataArts Studio
String DWS类型需要。 l1 String 主题域分组。 l2 String 主题域。 l3 String 业务对象。 l1_id String 主题域分组ID,只读,填写String类型替代Long类型。 l2_id String 主题域ID。 l3_id String 业务对象I
-
配置MRS Hudi目的端参数 - 数据治理中心 DataArts Studio
使用入库时间字段 将一个字段标记为入库时间字段,自动建表时将此字段自动加到建表语句中,写入Hudi时将把此字段的值替换为当前时间,不自动建表时选择已经存在的入库时间字段。 是 入库时间字段名称 “使用入库时间字段”设置为“是”时,呈现此参数。 用于记录写入Hudi的时间。 说明:
-
发布脚本任务 - 数据治理中心 DataArts Studio
图1 选择发布 发布之后,您可以通过“发布包管理”查看任务的发布状态。待审批通过后,任务发布成功。 支持通过“申请人”、“申请时间”、“发布时间”、“发布人”和“发布状态”进行发布项筛选。同时可以使用发布包名称进行模糊查询。 图2 查看任务状态 对于暂时不发布的发布项,开发者、部署者和管理员可以进行撤销。
-
DLI Flink Job - 数据治理中心 DataArts Studio
default”队列支持建表语句执行,可联系DLI服务客服或技术支持人员协助解决。 DLI的“default”队列为共享队列,仅用于用户体验,用户间可能会出现抢占资源的情况,不能保证每次都可以得到资源执行相关操作。当遇到执行时间较长或无法执行的情况,建议您在业务低峰期再次重试,或选择自建队列运行业务。
-
作业配置管理 - 数据治理中心 DataArts Studio
失败。 定时备份/恢复 该功能依赖于OBS服务。 前提条件 已创建OBS连接,详情请参见配置OBS连接。 定时备份 在CDM作业管理界面,单击“配置管理”页签,配置定时备份的参数。 表2 定时备份参数 参数 说明 配置样例 定时备份 自动备份功能的开关,该功能只备份作业,不会备份连接。
-
逻辑模型设计 - 数据治理中心 DataArts Studio
系统默认在“配置中心 > 功能配置 > 模型设计业务流程步骤”中勾选了“同步业务资产”: 对于新建的逻辑模型,单击“发布”可直接将逻辑模型同步到数据目录模块中的业务资产中。 对于历史发布的逻辑模型,单击列表上方的“更多>同步”可将逻辑模型同步到数据目录模块的业务资产中。 逻辑模型转换为物理模型 完
-
上传增量数据 - 数据治理中心 DataArts Studio
“重复周期”配置为1天。 “开始时间”配置为每天凌晨0点1分执行。 这样CDM每天凌晨自动执行全量迁移,但因为“重复文件处理方式”选择了“跳过重复文件”,相同名称且相同大小的文件不迁移,所以只会上传每天新增的文件。 单击“保存”,完成CDM的增量同步配置。 父主题: 使用CDM上传数据到OBS
-
数据开发数据搬迁 - 数据治理中心 DataArts Studio
已完成管理中心数据搬迁。 数据开发中的通知配置、备份管理、作业标签、委托配置、默认项等数据不支持导入导出,如有涉及,请您进行手动配置同步。 导入脚本、作业、环境变量、资源功能部分依赖于OBS服务。 旧空间导出数据 请您登录控制台首页,选择并进入旧工作空间的“数据开发”模块,然后执行如下操作依次导出脚本、导出作业、导出环境变量、导出资源。
-
任务管理 - 数据治理中心 DataArts Studio
选择“文件夹和对象”,采集任务采集文件夹和对象。 选择“ 文件夹”,采集任务仅采集文件夹。 DIS 是否采集转储任务 勾选“采集”表示采集转储任务。 采集通道 DIS服务的实例即通道。此参数表示选择通道,进行采集。 元数据采集参数配置,参考表3。 仅当数据连接类型为DWS、DLI、MRS HBase、MRS
-
Rest Client - 数据治理中心 DataArts Studio
IAM认证:接口只允许云用户访问。DataArts Studio服务给接口发送消息的时候,会在请求消息头中带上当前用户的认证信息。 无认证:接口不需要身份认证 用户名密码认证:接口需要访问者输入账号和密码信息。DataArts Studio服务发送消息的时候,会在请求消息头中带上Authorization字段。
-
配置PostgreSQL/SQLServer连接 - 数据治理中心 DataArts Studio
C连接器的属性,参考对应数据库的JDBC连接器说明文档进行配置。 常见配置举例如下: connectTimeout=60与socketTimeout=300:迁移数据量较大、或通过查询语句检索全表时,会由于连接超时导致迁移失败。此时可自定义连接超时时间与socket超时时间(单位s),避免超时导致失败。
-
为什么DWS/Hive/HBase数据连接突然无法获取数据库或表的信息? - 数据治理中心 DataArts Studio
为什么DWS/Hive/HBase数据连接突然无法获取数据库或表的信息? 可能是由于CDM集群被关闭或者并发冲突导致,您可以通过切换agent代理来临时规避此问题。 建议您通过以下措施解决此问题: 检查CDM集群是否被关机。 是,将CDM集群开机后,确认管理中心的数据连接恢复正常。