检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置字段映射时,数据源支持的数据类型请参见表1,以确保数据完整导入到目的端。 表1 支持的数据类型 数据连接类型 数据类型说明 MySQL 请参见MySQL数据库迁移时支持的数据类型。 SQL Server 请参见SQL Server数据库迁移时支持的数据类型。 Oracle 请参见Oracle数据库迁移时支持的数据类型。
ubject-Token的值)使用Token认证时必选。 表3 请求Body参数 参数 是否必选 参数类型 描述 ids 否 Array of strings 待删除动态脱敏策略id列表。 响应参数 状态码: 400 表4 响应Body参数 参数 参数类型 描述 error_code
单击输入框后的“选择”,可获取用户的实例列表。 192.168.0.1 端口 配置为要连接的数据库的端口。 不同的数据库端口不同,请根据具体情况配置。例如: SQLServer默认端口:1433 PostgreSQL默认端口:5432 数据库名称 配置为要连接的数据库名称。 dbname 用户名 待连接数据库的用户
单击左侧导航树中的“动态脱敏”,进入动态脱敏页面。 图1 进入动态脱敏页面 单击“新建”,进入新建动态脱敏策略页面,参数配置参考表1。 图2 新建动态脱敏策略参数配置 创建动态脱敏策略参数配置说明: 表1 配置策略参数 参数名 参数说明 *策略名称 动态脱敏策略的唯一标识,DataArts
如果选择界面没有待选择的模式或表空间,请确认对应连接里的账号是否有元数据查询的权限。 该参数支持配置正则表达式,实现导出满足规则的所有数据库。例如:表名配置为user_[0-9]{1,2},会匹配 user_0 到 user_9,user_00 到 user_99 的表。 SCHEMA_E 表名 表示要
记忆、区分的连接名。 mysql_link 数据库服务器 配置为要连接的数据库的IP地址或域名。 单击输入框后的“选择”,可获取用户的MySQL数据库实例列表。 192.168.0.1 端口 配置为要连接的数据库的端口。 3306 数据库名称 配置为要连接的数据库名称。 dbname
数据开发模块作为一站式大数据开发平台,支持多种大数据工具的开发。Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的SQL查询功能;可以将SQL语句转换为MapReduce任务进行运行。 环境准备 已开通MapReduce服务MRS,并创建MRS集群,为Hive
Studio支持连接哪些数据源? DataArts Studio支持对接如DLI、DWS、MRS Hive等云服务,也支持对接如MySQL、Oracle等传统数据库,支持程度各有不同,详情请参见DataArts Studio支持的数据源章节。 DataArts Studio对接数据源,
查询作业实例列表 功能介绍 查询作业实例列表。 对于配置了周期调度或事件触发调度的批处理作业,触发一次运行就会生产一个作业实例。如果实时作业里面包含了配置周期调度或事件触发调度节点,可以通过此接口查询节点所关联的子作业的实例列表,参数jobName格式为[实时作业名称]_[节点名称]。
RDS SQL 功能 通过RDS SQL节点传递SQL语句到RDS中执行。 参数 用户可参考表1和表2配置RDS SQL节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称 是 节点名称,可以包含中文、英文字母、数字、“_”、“-”、“/”、“<”、“>”等各类特殊字符,长度为1~128个字符。
catalog。 数据库 选择数据库。 DLI数据目录如果选择DLI默认的数据目录dli,表示为DLI的数据库和数据表。 DLI数据目录如果选择DLI所绑定的LakeFormation已创建元数据catalog,表示为LakeFormation的数据库和数据表。 资源队列 输入执行作业的资源队列。
该参数支持配置正则表达式,实现导出满足规则的所有数据库。 SCHEMA_E 表名 “使用SQL语句”选择“否”时,显示该参数,表示要抽取的表名。单击输入框后面的按钮可进入表的选择界面,用户也可以直接输入表名称。 如果选择界面没有待选择的表,请确认表是否已经创建,或者对应连接里的账号是否有元数据查询的权限。
L、ImpalaSQL、HetuEngineSQL、RDSSQL其中之一时,才支持此参数。 type为DLISQL时,可以通过查看所有数据库接口获取数据库信息。 type为其他类型的时候,需要通过JDBC方式连上集群,查询数据库信息。默认值为空。 queueName 否 String
支持单表、整库及分库分表实时增量数据同步。 单表同步:支持将源端一个实例下的单张表实时同步至目的端一个实例下的单张表。 整库同步:支持将源端一个实例下多个库的多张表批量实时同步到目的端一个实例下的多个库表,一个任务中最多支持200张目标表。 分库分表同步:支持将源端多个实例下多个分库的多张分表同步到目的端一个实例下的单个库表。
据: 关系型数据库,如MySQL/PostgreSQL等(可使用RDS类型连接,采集其元数据) 云搜索服务CSS 图引擎服务GES 对象存储服务OBS MRS Hudi组件(MRS Hudi作为一种数据格式,元数据存放在Hive中,操作通过Spark进行。在Hudi表开启“同步hive表配置”后,可通过采集MRS
查询集群列表 功能介绍 查询集群列表接口。 调用方法 请参见如何调用API。 URI GET /v1.1/{project_id}/clusters 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。
选择“字段一致性校验”的前提是码表在数据库中存在,通过以下方式生成的码表会在数据库中存在: 逆向数据库生成的码表。 新建维度时,通过码表维度发布的码表。 汇总表引用维度字段命名规则:设置汇总表在新建、编辑、导入和生成时的命名规则,可选“维度表名_维度属性名”和“维度属性名”。 导出文件类型:
动态脱敏任务 管理动态脱敏策略 订阅动态脱敏策略 父主题: 敏感数据保护
不自动创建:不自动建表。 不存在时创建:当目的端的数据库没有“表名”参数中指定的表时,CDM会自动创建该表。如果“表名”参数配置的表已存在,则不创建,数据写入到已存在的表中。 先删除后创建:CDM先删除“表名”参数中指定的表,然后再重新创建该表。 当选择在DWS端自动创表时,DWS的表与源表的
查询标签列表 功能介绍 查询标签列表。 调用方法 请参见如何调用API。 URI GET /v3/{project_id}/tags 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。 表2 Query参数