检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
60),CDM只导出该SQL语句指定的数据;不配置时导出整表。 Where子句支持配置为时间宏变量,当数据表中有时间日期字段或时间戳字段时,配合定时执行作业,能够实现抽取指定日期的数据。 配置样例: 假设数据库表中存在表示时间的列DS,类型为“varchar(30)”,插入的时间格式类似于“2017-xx-xx”,如图1所示,参数配置如下:
基线上的任务承诺最晚完成时间(需要保障的数据最晚产出时间),基线将根据该时间来推算预警时间,承诺时间需要基于预计完成时间来配置。保证承诺时间 - 预警余量时间晚于基线任务的预计完成时间。 说明: 基线预警时间=承诺时间-预警余量,如果实际完成时间晚于承诺时间 - 预警余量时间,则会触发报警。例如,
对象存储:对象存储服务(OBS) 关系型数据库:云数据库 MySQL,云数据库 PostgreSQL,云数据库 SQL Server 搜索:Elasticsearch 公测中:云搜索服务(CSS),表格存储服务(CloudTable) 云数据库 PostgreSQL MySQL 数据仓库:数据仓库服务(DWS)
作业算子id,表关联作业算子列表接口响应体的task_id。 表2 Query参数 参数 是否必选 参数类型 描述 workspace_id 否 String 空间ID,表关联作业算子列表接口响应体的workspace_id。 job_name 是 String 作业算子名称,表关联作业算子列表接口响应体的job_name。
各同步场景下选择需要同步库表的方式请参考下表。 表5 选择需要同步的库表 同步场景 配置方式 整库 选择需要迁移的PostgreSQL库表。 图4 选择库表 库与表均支持自定义选择,即可选择一库一表,也可选择多库多表。 分库分表 添加逻辑表。 逻辑表名:即最终写入到DWS的表名。 源库过滤条
项目ID,获取方法请参见项目ID和账号ID。 表2 Query参数 参数 是否必选 参数类型 描述 name 否 String 按名称或编码模糊查询。 name_ch 否 String 按名称精确查询。 name_en 否 String 按编码精确查询。 create_by 否 String 按创建者查询。 owner
成绩表”的“学号”。 子对父 :表示每条子表数据在父表中有且只有一条数据与之对应。 :表示每条子表数据在父表中最多有一条数据与之对应。 :表示每条子表数据在父表中可能有多条数据与之对应。 :表示每条子表数据在父表中至少有一条数据与之对应。 父对子 :表示每条父表数据在子表中有且只有一条数据与之对应。
执行DWS SQL脚本时,提示id不存在,如何处理? 可能原因 在执行DWS SQL脚本时,提示id不存在,原因是由于id的大小写引起的。 解决方案 DWS执行SQL时,系统默认是小写,如果是大写字段需要加""。 举例:select * from table1 order by "ID";
进入运维管理页面 作业执行完成后,单击“结果&日志”,查看对账作业运行结果,如果源端和目的端表行数一致,则迁移成功。 图14 查看运行结果 运行结果中,左侧表示源端表行数规则运行结果,右侧表示目的端表行数规则运行结果。 误差率表示两端数据行数的差异比率,此处误差率为0表示两端一致。
束,4表示手动停止,5表示调度异常。 schedule_period 否 Integer 调度周期,1表示分钟,2表示小时,3表示天,4表示周,5表示月。 start_time 否 String 开始时间(搜索),格式 yyyy-MM-dd HH:mm:ss。 end_time 否
查询数据源可配置权限 功能介绍 查询数据源可配置权限。 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/security/permission-sets/datasource/configurations 表1 路径参数 参数 是否必选 参数类型
配置源端参数。 选择需要迁移的SQLServer库表。 图6 选择库表 库与表均支持自定义选择,即可选择一库一表,也可选择多库多表。 配置目的端参数。 源库表和目标匹配策略。 各同步场景下源端库表和目标端库表的匹配策略请参考下表。 表5 源库表和目标匹配策略 同步场景 配置方式
parent_permission_set_id 否 String 父权限集ID。获取方法请参见查询权限集列表 注意: 当该值为父权限集ID时,则基于父权限集中的权限查询。 请求参数 表3 请求Header参数 参数 是否必选 参数类型 描述 workspace 是 String
查询数据权限控制模块诊断结果 功能介绍 查询数据权限控制模块诊断结果。 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/security/diagnose/permission-management 表1 路径参数 参数 是否必选 参数类型 描述
查询敏感数据保护模块诊断结果 功能介绍 查询敏感数据保护模块诊断结果 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/security/diagnose/sensitive-data 表1 路径参数 参数 是否必选 参数类型 描述 project_id
Kafka作业配置 支持的源端和目的端数据库版本 表1 支持的数据库版本 源端数据库 目的端数据库 Kafka集群(2.7、3.x版本) Kafka集群(2.7、3.x版本) 数据库账号权限要求 在使用Migration进行同步时,源端和目的端所使用的数据库账号需要满足以下权限要求,才能
查看逆向维度表任务 功能介绍 查看逆向维度表任务。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/design/dimension/database 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目
ClickHouse数据连接参数说明。 RDS 请参见RDS数据连接参数说明。 RDS连接类型支持连接RDS中的MySQL/PostgreSQL/达梦数据库 DM/SQL Server/SAP HANA等关系型数据库。 MySQL(待下线) 不建议使用MySQL(待下线)连接器,推荐使用RDS连接MySQL数据源,请参见RDS数据连接参数说明。
查看码表字段值 功能介绍 查看码表字段值。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/design/code-tables/{id}/values 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项
可选择“按年”、“按月”、“按日”、“按小时”或“按分钟”,然后根据需要选择“快速选择”或“自定义”进行时间条件的设置。 自定义时,“-”表示从当前时间向前的时间段,“+”表示从当前时间向后的时间段。例如,过去一年到未来三年,可以按年自定义为“-1到+3”或“+3到-1”。 描述