检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
对设备码进行掩码,支持IMEI、MEDI、ESN。 支持配置类型。 IPv6掩码 掩码IPv6地址。 不支持。 IPv4掩码 掩码IPv4地址。 不支持。 MAC地址掩码 掩码MAC地址。 不支持。 电话号码掩码 掩码电话号码。 不支持。 日期类型掩码 对指定日期格式进行掩码,支持ISO、EUR、USA格式。
Server PostgreSQL 支持从云端的数据库服务导出数据。 这些非云服务的数据库,既可以是用户在本地数据中心自建的数据库,也可以是用户在ECS上部署的,还可以是第三方云上的数据库服务。 从这些数据源导出数据时,CDM使用JDBC接口抽取数据,源端作业参数相同,详细请参见配置PostgreSQL/SQL
和开发环境的两套数据湖服务,用于隔离开发和生产环境: 对于集群化的数据源(例如MRS、DWS、RDS、MySQL、Oracle、DIS、ECS),DataArts Studio通过管理中心的创建数据连接区分开发环境和生产环境的数据湖服务,在开发和生产流程中自动切换对应的数据湖。因
上表中非云服务的数据源,例如MySQL,既可以支持用户本地数据中心自建的MySQL,也可以是用户在ECS上自建的MySQL,还可以是第三方云的MySQL服务。 整库迁移支持的数据源类型 整库迁移适用于将本地数据中心或在ECS上自建的数据库,同步到云上的数据库服务或大数据服务中,适用于数据库离线迁移场景,不适用于在线实时迁移。
MODE:批量更新入库模式。 COPY MODE:DWS专有的高性能批量入库模式。 批写最大数据量 50000 条 单批次写入DWS数据的条数,可根据表数据大小和作业内存使用适当调整。 定时批写时间间隔 3 秒 支持配置每批次数据写入DWS的时间间隔。 高级配置 - - 支持通过
若您想达到对权限较小化的安全管控要求,Tenant Administrator可不配置,仅配置OBS OperateAccess权限(因作业执行过程中,需要往OBS写执行日志信息,因此需要添加 OBS OperateAccess权限)。然后再根据作业中的节点类型,配置不同的委托权限。例如某作业仅包含Import
逻辑删除开关,changelog开启时必须关闭逻辑删除。 hoodie.write.liststatus.optimized boolean true - 写log文件时是否开启liststatus优化。涉及到大表和分区数据量多的作业,在启动时list会非常耗时,可能导致作业启动超时,建议关闭。 hoodie
Boolean 消息通知。 phoneNum 否 String 手机号码,最多填写20个,以英文逗号分隔。 email 否 String 邮箱地址,最多填写20个,以英文逗号分隔。 响应参数 无 请求示例 修改集群配置。 POST /v1.1/1551c7f6c808414d8e9f
String OBS路径 表23 RESTAPI节点属性说明 参数名 是否必选 参数类型 说明 url 是 String URL地址 云服务提供的URL地址。 method 是 String HTTP方法: GET POST PUT DELETE headers 否 String
节点名称,可以包含中文、英文字母、数字、“_”、“-”、“/”、“<”、“>”等各类特殊字符,长度为1~128个字符。 服务 是 选择需要开机/关机的服务: ECS CDM 开关机设置 是 选择开关机类型: 开 关 开关机对象 是 选择需要开机/关机的具体对象,例如开启某个CDM集群。 表2 高级参数
使用教程 创建MRS Hive连接器 创建MySQL连接器 MySQL数据迁移到MRS Hive分区表 MySQL数据迁移到OBS MySQL数据迁移到DWS MySQL整库迁移到RDS服务 Oracle数据迁移到云搜索服务 Oracle数据迁移到DWS OBS数据迁移到云搜索服务
集群ID编号。 instance_name String 集群名。 intranet_host String 内网地址。 external_host String 外网地址。 domains Array of strings 网关域名。 表5 ApiPublishDTO 参数 参数类型
各数据源所用端口不尽相同,可参考数据源安全组应放通哪些端口可满足Migration访问?进行安全组规则端口配置。 (可选)本地IDC添加路由。 本地IDC需要添加路由,目的地址指向Migration资源组VPC网段(例如172.16.0.0/19),导向华为侧网关,添加路由可参考配置本地路由。 云专线本端子网添加资源组网段。
MODE:批量更新入库模式。 COPY MODE:DWS专有的高性能批量入库模式。 批写最大数据量 50000 条 单批次写入DWS数据的条数,可根据表数据大小和作业内存使用适当调整。 定时批写时间间隔 3 秒 支持配置每批次数据写入DWS的时间间隔。 高级配置 - - 支持通过
String OBS路径 表24 RESTAPI节点属性说明 参数名 是否必选 参数类型 说明 url 是 String URL地址。 云服务提供的URL地址。 method 是 String HTTP方法: GET POST PUT DELETE headers 否 String
后,您需要在选择的路径后方自定义一个文件夹名称,系统将在OBS路径下创建文件夹,用于存放结果文件。 您也可以到下载中心配置默认的OBS路径地址,配置好后在转储时会默认填写。 覆盖类型 否 如果“存储路径”中,您自定义的文件夹在OBS路径中已存在,选择覆盖类型。当脚本为DLI SQL时,配置该参数。
String OBS路径 表24 RestClient节点属性说明 参数名 是否必选 参数类型 说明 url 是 String URL地址 云服务提供的URL地址。 method 是 String HTTP方法: GET POST PUT DELETE headers 否 String
n访问?进行安全组规则端口配置。 (可选)其他云数据库所在网络添加路由,专线添加远端子网。 必要时,其他云数据库所属网络需要添加路由,目的地址指向Migration资源组VPC网段(例如172.16.0.0/19),下一跳跳至云专线的物理连接,建议参考其他云官网资料进行配置。 必
网IP(100.x.x.x/32)。 图10 添加SNAT规则2 中转VPC子网网络添加路由。 中转VPC子网的路由表中需要添加路由,目的地址指向本地IDC数据库的公网IP(例如14.x.x.x/32),下一跳跳至上面配置的NAT网关。 登录虚拟私有云控制台,在左侧导航栏选择“虚拟私有云
数据服务SDK概述 本文档指导API调用者通过数据服务SDK代码调用数据API,当前数据服务SDK代码仅支持调用API场景。 数据服务SDK介绍 数据服务SDK是基于DataArts Studio数据服务创建的数据API封装的SDK包。通过调用此SDK包提供的代码样例,即可进行数