检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在源库使用SUPERUSER用户执行语句“select pg_reload_conf();”生效,或重启数据库实例生效。 目标数据库连接账号 目标数据库的每张表必须具有如下权限:INSERT、SELECT、UPDATE、DELETE、CONNECT、CREATE。
name 否 String 补数据实例名称 user_name 否 String 用户名 status 否 String 实例状态: SUCCESS:成功 RUNNING :运行中 CANCLE:取消 sort 否 String 排序字段: desc:创建时间按照降序展示 asc
获取实例结果 功能介绍 获取实例结果。 调用方法 请参见如何调用API。
图20 批量处理作业 单击左侧导航栏,选择“运维调度 > 实例监控”,进入实例监控界面。 在运维调度的“实例监控”页面,可以查看作业实例的运行详情以及运行日志等。
配置方法(DIS Client) 登录DataArts Studio控制台,找到所需要的DataArts Studio实例,单击实例卡片上的“进入控制台”,进入概览页面。 单击第一个工作空间A的“数据开发”,系统跳转至数据开发页面,新建数据开发作业job1。
订阅动态脱敏策略 在DataArts Studio控制台首页,选择对应工作空间的“数据安全”模块,进入数据安全页面。 单击左侧导航树中的“动态脱敏”,进入动态脱敏页面,然后切换到“动态脱敏订阅”页签。
类似于XPath,path方法可以通过路径检索或设置JSON,其路径中可以使用.或[]等访问成员、数值,例如:tables[0].table_name。
在作业监控页面里的“上次实例状态”只有运行成功、运行失败,这是为什么? 如何创建通知配置对全量作业都进行结果监控? 数据开发的并行执行节点数是多少? DataArts Studio是否支持修改时区? CDM作业改名后,在数据开发中如何同步?
在详情页面,进入“血缘”页签,可查看事实表的输入输出血缘信息。 图2 血缘 在资产列表中,找到汇总表,例如dws_payment_type,单击汇总表名称,即可查看汇总表的详情信息。在详情页面,进入“数据预览”页签,可查看汇总表的预览数据。
作业配置完毕后,单击作业开发页面左上角“提交”,完成作业提交。 图11 提交作业 提交成功后,单击作业开发页面“启动”按钮,在弹出的启动配置对话框按照实际情况配置同步位点参数,单击“确定”启动作业。
创建数据迁移连接 登录DataArts Studio控制台,单击相应工作空间后的“数据集成”。 在集群管理页面,单击所创建集群操作列“作业管理”,进入“作业管理”页面。 图1 作业管理页面 在连接管理页签中,单击“新建连接”,创建DWS数据连接,参数说明请参见配置DWS连接。
linkConfig.accessKey 是 String 访问标识(AK)。建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。 linkConfig.securityKey 是 String 密钥(SK)。建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。
技术资产中的数据血缘关系更新依赖于作业调度,数据血缘关系是基于最新的作业调度实例产生的。需要注意的是,数据血缘关系删除需要通过删除作业或删除作业元数据的方式进行,仅将作业停止调度不会触发血缘关系的删除。 资产搜索 通过资产名称和描述的关键字或按所有属性搜索资产,支持模糊搜索。
通过访问权限管理、敏感数据识别、隐私保护管理等措施,帮助用户建立安全预警机制,增强整体安全防护能力,让数据可用不可得和安全合规。
图1 配置作业 单击“下一步”,进入“字段映射”配置页面后,单击源字段图标。 图2 配置字段映射 选择“自定义字段”页签,填写字段名称及字段值后单击“确认”按钮,例如: 名称:InputTime。 值:${timestamp()},更多时间宏变量请参见表1。
专享版集群开启计费 在“集群管理”页面中单击“开启计费”按钮。 图1 开启集群计费 在购买数据服务专享版集群增量包页面中,选择购买时长,单击“立即购买”后提交。
是:表示在进行脚本、作业开发查询的时候,在对表数据预览的时候,会按照数据安全配置的展示层脱敏策略,对结果数据前端页面展示进行敏感信息脱敏操作。 否:表示在进行脚本作业开发以及表数据预览的时候,不会对结果数据进行敏感数据脱敏。
instance_id 是 String 实例ID,获取方法请参见获取集群列表。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token,使用Token认证时必选。
**********为IAM用户的登录密码。
查询作业实例详情 功能介绍 查询指定作业实例详情信息,包括作业实例内各个节点的执行信息。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。