检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置PostgreSQL源端参数 支持从云端的数据库服务导出数据。 这些非云服务的数据库,既可以是用户在本地数据中心自建的数据库,也可以是用户在ECS上部署的,还可以是第三方云上的数据库服务。 表1 PostgreSQL作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 使用SQL语句
选择已创建的数据连接。若未创建请参考创建DataArts Studio数据连接新建连接。 *数据库 选择待嵌入水印的数据库和数据表。 单击数据库后的“设置”,设置待嵌入水印的数据库和数据表。 单击“清除”,可对已选择的数据库和数据表进行修改。 *源表名 *水印嵌入列 下拉选择常见的字段类型作为嵌入列。如数值型、字符型。
获取质量报告技术报告数据。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/quality/report/technology/scores 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。
查看授权”,进入API完整信息界面。在“授权信息”页签中,单击“授权”。 在添加授权页面,设置授权的截止时间、选择集群(仅专享版涉及),勾选应用名称,然后单击“确认授权”,完成API的授权。 如果生成API时设置入参位置为Static,则还需设置静态参数值。如果未配置Static参数值,则SDK调用时会使用
连接动态变化配置项,每种连接略有区别,建议在界面进行调试。 agent_id String CDM集群ID,获取方法请参见查询集群列表。 agent_name String 代理集群名称,获取方法请参见查询集群列表。 env_type Integer 0:开发模式 1:生产模式,默认为0。 qualified_name
功能介绍 查询技术资产。 调用方法 请参见如何调用API。 URI POST /v3/{project_id}/asset/entities/search 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。
映射名称:新建映射时会自动生成,用户可以手动修改。 源逻辑实体:如果数据来源于一个模型中的多个逻辑实体,可以单击逻辑实体后的按钮为该逻辑实体和其他逻辑实体之间设置JOIN。 图7 设置源表JOIN条件 表5 JOIN条件参数说明 参数名 参数说明 *JOIN逻辑实体 下拉选择需要和源逻辑实体建立JOIN关系的逻辑实体。
删除OBS桶或目录的路径。 说明: 删除的文件将无法恢复,如需保留文件,请在删除前备份该桶下的数据。 表2 高级参数 参数 是否必选 说明 节点执行的最长时间 是 设置节点执行的超时时间,如果节点配置了重试,在超时时间内未执行完成,该节点将会再次重试。 失败重试 是 节点执行失败后,是否重新执行节点。 是:重新执行节点,请配置以下参数。
功能介绍 查询数据连接列表。 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/data-connections 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。 表2
手动输入模板格式的消息:在“消息内容”直接输入。 通过工具自动生成模板格式的消息:单击“生成模板消息”,在弹出的对话框中,选择“模板名称”,并设置{tag}的值。 消息内容 是 填写消息的内容,不同消息类型的填写要求如下: 文本消息:大小不超过10KB。 JSON消息:JSON消息中
OBS作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 桶名 写入数据的OBS桶名。 bucket_2 写入目录 写入数据到OBS服务器的目录,目录前面不加“/”。 该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合,可以实现定期同
DLI连接 介绍 通过DLI连接,可以导入数据到数据湖探索(DLI)服务,CDM暂不支持从DLI服务导出数据。 连接样例 { "links": [ { "link-config-values": { "configs":
CloudTable连接 介绍 通过CloudTable连接,可以对CloudTable服务抽取、加载数据。 连接样例 本示例为连接样例消息体。在实际使用中,AK(accessKey)和SK(securityKey)建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。 {
删除连接 功能介绍 删除连接接口。 调用方法 请参见如何调用API。 URI DELETE /v1.1/{project_id}/clusters/{cluster_id}/cdm/link/{link_name} 表1 路径参数 参数 是否必选 参数类型 描述 project_id
ate_test”和“test1”在云搜索服务中不存在时,CDM会在云搜索服务中自动创建该索引和类型),则CDM默认会将时间类型字段的格式设置为“yyyy-MM-dd HH:mm:ss.SSS Z”的标准格式,例如“2018-01-08 08:08:08.666 +0800”。 图2
单击,完成公共IAM账号的设置。 配置执行用户 配置作业的执行用户 在作业目录处,双击选中已有作业。 单击画布右侧“作业基本信息”页签,展开配置页面,可设置作业的执行用户。 参考:创建委托 登录IAM服务控制台。 选择“委托”,单击“创建委托”。 设置“委托名称”。例如:DGC_agency。
连接动态变化配置项,每种连接略有区别,建议在界面进行调试。 agent_id 否 String CDM集群ID,获取方法请参见查询集群列表。 agent_name 否 String 代理集群名称,获取方法请参见查询集群列表。 env_type 否 Integer 0:开发模式 1:生产模式,默认为0。
将读表和写表操作拆分为同一作业的不同节点,两个节点通过连线建立先后执行关系,避免同时执行冲突。 将读表和写表操作拆分为两个不同的作业,两个作业之间设置依赖关系,避免同时执行冲突。 父主题: 数据开发
创建OBS目录:选择需要创建目录的路径,在路径后输入“/目录名”,目录名不允许重名。 表2 高级参数 参数 是否必选 说明 节点执行的最长时间 是 设置节点执行的超时时间,如果节点配置了重试,在超时时间内未执行完成,该节点将会再次重试。 失败重试 是 节点执行失败后,是否重新执行节点。 是:重新执行节点,请配置以下参数。
在左侧导航树中,单击“任务监控”,查看采集任务是否成功。 图6 查看监控任务 当采集任务成功后,在左侧导航栏单击“数据目录”,选择“技术资产”页签,然后设置筛选条件,例如选中连接“mrs_hive_link”,以及选中“Table”,将显示符合条件的所有的表。 图7 技术资产 单击所需要的元数据名称,即可查看详情信息。