检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DROP,ALTER,INDEX,LOCK,READ,WRITE cluster_id 否 String 集群ID,获取方法请参见查询单个数据连接信息。 cluster_name 否 String 集群名称。 datasource_type 否 String 数据源类型 HIVE数据源
0:00Z。 db_name String 数据库名。 dw_type String 数据连接类型,只读。 queue_name String dli数据连接执行sql所需的队列,数据连接类型为DLI时必须。 schema String DWS类型需要。 l1 String 主题域分组。
TAG: 标签 TIME_CONDITION: 时间限定 l2_id 否 String 主题域ID。 dw_type 否 String 数据连接类型。 表6 MetricMonitorVO 参数 是否必选 参数类型 描述 id 否 String 编码,ID字符串。 other_metric_ids
DataArts Studio实例中的数据集成CDM集群所属的VPC、子网、安全组。 如果DataArts Studio实例或CDM集群需连接云上服务(如DWS、MRS、RDS等),则您需要确保CDM集群与该云服务网络互通。同区域情况下,同虚拟私有云、同子网、同安全组的不同实例默
classifications 否 Array of strings 分类。 connection_names 否 Array of strings 数据连接。 exclude_classifications 否 Boolean 是否排除分类。 exclude_security_levels 否
dataArray[][]}或#{Loop.current[]}均可以实现,且当前只有For Each节点支持Loop表达式,所以HIVE SQL节点后面需要连接一个For Each节点。 此场景下不能使用StringUtil表达式#{StringUtil.split(StringUtil.split(StringUtil
data,统一的返回结果的最外层数据结构。 表6 data 参数 参数类型 描述 value Array of CustomizedFieldsVO objects 数据连接信息数组 表7 CustomizedFieldsVO 参数 参数类型 描述 id String 编码,ID字符串。 name_ch String
失败原因。集群处于正常状态时不返回。 dbuser String 数据库用户。 links Array of ClusterLinks objects 集群连接信息。 clusterMode String 集群模式:sharding(分片集群)。 task ClusterTask object 任务信息。
PostgreSQL到DWS参数调优 源端优化 SQLServer抽取优化 暂无优化配置项。 目的端优化 DWS写入优化 可通过在DWS的目的端配置中修改写入相关配置,且可以通过单击高级配置的“查看编辑”按钮,添加高级属性。 图1 添加高级属性 表1 DWS写入优化参数 参数名 类型
Oracle到DWS参数调优 源端优化 Oracle抽取优化 暂无优化配置项。 目的端优化 DWS写入优化 可通过在DWS的目的端配置中修改写入相关配置,且可以通过单击高级配置的“查看编辑”按钮,添加高级属性。 图1 添加高级属性 表1 DWS写入优化参数 参数名 类型 默认值 说明
t-Token的值)使用Token认证时必选。 表3 请求Body参数 参数 是否必选 参数类型 描述 dw_id 否 String 数据连接id。 permission_type 否 String 权限类型, DENY, ALLOW permission_actions 否 Array
dataArray[][]}或#{Loop.current[]}均可以实现,且当前只有For Each节点支持Loop表达式,所以HIVE SQL节点后面需要连接一个For Each节点。 此场景下不能使用StringUtil表达式#{StringUtil.split(StringUtil.split(StringUtil
TAG: 标签 TIME_CONDITION: 时间限定 l2_id 否 String 主题域ID。 dw_type 否 String 数据连接类型。 表7 MetricMonitorVO 参数 是否必选 参数类型 描述 id 否 String 编码,ID字符串。 other_metric_ids
数据的优势如表1所示。 表1 CDM优势 优势项 用户自行开发 CDM 易使用 自行准备服务器资源,安装配置必要的软件并进行配置,等待时间长。 程序在读写两端会根据数据源类型,使用不同的访问接口,一般是数据源提供的对外接口,例如JDBC、原生API等,因此在开发脚本时需要依赖大量的库、SDK等,开发管理成本较高。
主题域分组ID,只读,ID字符串。 l2_id String 主题域ID。 l3_id String 业务对象ID,只读,ID字符串。 dw_type String 数据连接类型。 id String 层级的ID,只读,ID字符串。 表9 DimensionHierarchiesVO 参数 参数类型 描述 id
数据治理分层。 枚举值: SDI: 贴源数据层 DWI: 数据整合层 DWR: 数据报告层 DM: 数据集市层 dw_type String 数据连接类型,对应表所在的数仓类型,取值可以为DWS、MRS_HIVE、POSTGRESQL、MRS_SPARK、CLICKHOUSE、MYSQL、ORACLE和DORIS等。
业务对象guid,ID字符串。 table_id String 事实表ID,ID字符串。 tb_name String 事实表名称。 dw_type String 数据连接类型,只读。 field_ids Array of strings 字段ID信息,ID字符串。 field_names Array of strings
择。 场景多样性:部分链路支持全量和增量同步,部分链路支持分库分表。 可维护性:支持作业监控和日志查看,方便运维人员进一步定位。 易用性:长界面更易操作,用户只需配置必要信息,学习成本减低。 父主题: 数据集成(实时作业)
业务对象guid,ID字符串。 table_id String 事实表ID,ID字符串。 tb_name String 事实表名称。 dw_type String 数据连接类型,只读。 field_ids Array of strings 字段ID信息,ID字符串。 field_names Array of strings
迁移作业原理 数据迁移模型 CDM数据迁移时,简化的迁移模型如图1所示。 图1 CDM数据迁移模型 CDM通过数据迁移作业,将源端数据迁移到目的端数据源中。其中,主要运行逻辑如下: 数据迁移作业提交运行后,CDM会根据作业配置中的“抽取并发数”参数,将每个作业拆分为多个Task,即作业分片。