-
配置Oracle数据库连接 - 数据治理中心 DataArts Studio
acle源端“一次请求行数”参数值的设置。 1000 连接属性 可选参数,单击“添加”可增加多个指定数据源的JDBC连接器的属性,参考对应数据库的JDBC连接器说明文档进行配置。 常见配置举例如下: oracle.net.CONNECT_TIMEOUT=60000与oracle.jdbc
-
发现敏感数据 - 数据治理中心 DataArts Studio
敏感数据同步到数据地图组件时,如需将敏感数据的分类同步成功,需要同时满足如下前提: 已在数据目录组件,对数据表成功进行过元数据采集,详见元数据采集任务。 管理中心组件对应的数据连接,已开启“元数据实时同步”功能,详见新建数据连接。 约束与限制 当前仅支持对数据仓库服务(DWS)
-
CDM与其他数据迁移服务有什么区别,如何选择? - 数据治理中心 DataArts Studio
CDM与其他数据迁移服务有什么区别,如何选择? 华为云上涉及数据迁移的服务有以下几种: 云数据迁移服务 CDM 对象存储迁移服务 OMS 数据复制服务 DRS 主机迁移服务 SMS 数据库和应用迁移 UGO 数据快递服务 DES 上述数据迁移服务的区别请参见各个数据迁移服务区别。 什么是云数据迁移服务(CDM)
-
Elasticsearch/云搜索服务(CSS)连接 - 数据治理中心 DataArts Studio
Elasticsearch/云搜索服务(CSS)连接 介绍 通过Elasticsearch连接,可以对Elasticsearch服务器或云搜索服务抽取、加载数据。 连接样例 { "links": [ { "link-config-values": {
-
场景说明 - 数据治理中心 DataArts Studio
场景说明 图引擎服务(Graph Engine Service,简称GES)是针对以“关系”为基础的“图”结构数据,进行查询、分析的服务,并广泛应用于社交关系分析、营销推荐、舆情及社会化聆听、信息传播、防欺诈等具有丰富关系数据的场景。 在DataArts Studio中,您可以将
-
HBase/CloudTable增量迁移 - 数据治理中心 DataArts Studio
HBase)或者表格存储服务(CloudTable)的数据时,支持导出指定时间段内的数据,配合CDM的定时任务,可以实现HBase/CloudTable的增量迁移。 如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时,系统会将时间宏变量替换为“数据开
-
开发一个Python作业 - 数据治理中心 DataArts Studio
递的参数,参数之间使用空格分隔,例如:Microsoft Oracle。此处的“参数”需要在Python脚本中引用,否则配置无效。 在编辑器中编辑Python语句。 本示例定义一个保存公司信息的字符串模板,然后应用该模板输出公司的信息。 import sys Company_Name1=sys
-
部署者操作 - 数据治理中心 DataArts Studio
所示。 部署者审批开发者提交的发布任务,审批通过后才能将修改后的作业同步到生产环境。 在企业模式中,开发者提交脚本或作业版本后,系统会对应产生发布任务。开发者确认发包后,需要部署者审批通过,才能将修改后的作业同步到生产环境。 前提条件 开发者已完成脚本任务发布或作业任务发布。 操作步骤
-
配置HDFS目的端参数 - 数据治理中心 DataArts Studio
取值样例 写入目录 写入数据到HDFS服务器的目录。 该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合,可以实现定期同步新增数据,详细说明请参见使用时间宏变量完成增量同步。 说明: 如果配置了时间宏变量,通过DataArts Studi
-
准备工作 - 数据治理中心 DataArts Studio
要在“虚拟私有云 VPC”服务控制台的“访问控制 > 安全组”界面对MRS集群创建的安全组(以“mrs_集群名_随机字符”命名)添加规则,放通入方向的DataArts Studio实例安全组,详情请参见如何配置安全组规则章节。 您需要在云数据库RDS服务控制台,创建一个MySQL
-
配置Hive目的端参数 - 数据治理中心 DataArts Studio
该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合,可以实现定期同步新增数据,详细说明请参见使用时间宏变量完成增量同步。 说明: 如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时,系统会将时间宏变量替换为“
-
新建维度 - 数据治理中心 DataArts Studio
完成所有维度的新建之后,需要等待审核人员审核。 审核通过后,系统会自动创建与维度相对应的维度表,维度表的名称和编码均与维度相同。在“维度建模”页面,选择“维度表”页签,可以查看建好的维度表。 在维度表列表中,在“同步状态”一列中可以查看维度表的同步状态。 图6 维度表的同步状态 如果同步状态均显示成功,则说明维度发布成功,维度表在数据库中创建成功。
-
配置默认项 - 数据治理中心 DataArts Studio
单击“默认项设置”,可设置“作业告警通知主题”配置项。 配置作业告警通知主题。单击“查看主题”可以跳转到消息通知服务界面查看已创建的主题。 此处选择的主题需要在消息通知服务SMN界面新配置一个主题(防止与之前所配置的按主题发送通知的主题重复),只能由空间管理员配置。 单击“保存”,对设置的配置项进行保存。
-
状态码 - 数据治理中心 DataArts Studio
Unauthorized 在客户端提供认证信息后,返回该状态码,表明服务端指出客户端所提供的认证信息不正确或非法。 402 Payment Required 保留请求。 403 Forbidden 请求被拒绝访问。 返回该状态码,表明请求能够到达服务端,且服务端能够理解用户请求,但是拒绝做更多的事情,因
-
查询业务资产 - 数据治理中心 DataArts Studio
请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token,使用Token认证时必选。通过调用IAM服务的“获取用户Token”接口获取响应消息头中X-Subject-Token的值。 workspace 是 String 工作空间ID,获取方法请参见实例ID和工作空间ID。
-
任务监控 - 数据治理中心 DataArts Studio
调度方式 展示采集任务的调度状态,分为单次调度和周期调度。 调度周期 展示采集任务的调度周期。 开始时间 重跑采集任务的启动时间。 结束时间 重跑采集任务的结束时间。 运行时间 采集任务的运行时间。 操作 对被纳入监控的采集任务可进行如下操作: 重跑:实例状态为失败和成功状态的实例,支持重跑。
-
FTP/SFTP连接 - 数据治理中心 DataArts Studio
server 是 String FTP或SFTP服务器的地址。 linkConfig.port 是 String FTP或SFTP服务器端口号。 linkConfig.username 是 String 登录FTP或SFTP服务器的用户名。 linkConfig.password
-
物理模型设计 - 数据治理中心 DataArts Studio
的“重新同步”再次下发同步命令。如果仍同步失败,请联系技术支持人员协助解决。 在开启“同步业务资产”功能的前提下,若关闭了“物理表同步业务资产”按钮,鼠标移至“同步状态”中的同步业务资产图标之上,会显示“未同步”。 进行同步时,可以选择同步表到生产环境或开发环境。默认同步到生产环境,不勾选则无法同步。
-
管理回收站 - 数据治理中心 DataArts Studio
权限集和动态脱敏策略被删除进入回收站后,将同步状态将统一置为未同步,从回收站还原后也需要手动进行同步才能生效。 回收站中的数据最多保存30天,删除时间超过30天的数据将被自动清理。 单实例下回收站中的权限集和动态脱敏策略分别最多保存1000条数据,超过1000条后会自动清理更早删除的数据。 数据
-
如何使用表达式方式获取当前时间? - 数据治理中心 DataArts Studio
如何使用表达式方式获取当前时间? 您可以在字段映射界面使用DateUtils.format(${timestamp()},"yyyy-MM-dd HH:mm:ss")表达式获取当前时间,更多表达式设置方式可以参考表达式转换。 父主题: 数据集成