检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
datasource_type 否 String 数据源类型 HIVE数据源 DWS数据源 DLI数据源 database 否 String 数据库名称 cluster_name 否 String 集群名称。 请求参数 表3 请求Header参数 参数 是否必选 参数类型 描述 workspace
进行了修改，是否同时更新数据库中的表。默认为“不更新”，但在配置中心可以依据自己的需求设置更新动作。依据DDL模板, 在模板里面配置对应的更新语句即可。 不更新：不更新数据库中的表。 依据DDL更新模板：依据DDL模板管理中配置的DDL更新模板，更新数据库中的表，但能否更新成功是
配置MySQL目的端参数 表1 PostgreSQL作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 模式或表空间 待写入数据的数据库名称，支持自动创建Schema。单击输入框后面的按钮可选择模式或表空间。 schema 表名 写入数据的目标表名，单击输入框后面的按钮可进入表的选择界面。
0028 用户名或密码错误，请参考数据库返回的错误消息: %s 请修改用户名或者密码，再重试。 Cdm.0029 数据库名称不存在，请参考数据库返回的错误消息: %s 请选择正确的数据库， 再重试。 Cdm.0030 用户名或密码或数据库名称错误，请参考数据库返回的错误消息: %s 请根
连接参数说明 关系数据库连接 OBS连接 HDFS连接 HBase连接 CloudTable连接 Hive连接 FTP/SFTP连接 MongoDB连接 Redis连接 Kafka连接 DIS连接 Elasticsearch/云搜索服务(CSS)连接 DLI连接 DMS Kafka连接
配置SQLServer目的端参数 表1 SQL Server作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 模式或表空间 待写入数据的数据库名称，支持自动创建Schema。单击输入框后面的按钮可选择模式或表空间。 schema 表名 写入数据的目标表名，单击输入框后面的按钮可进入表的选择界面。
参数名 说明 取值样例 基本参数 索引 Elasticsearch的索引，类似关系数据库中的数据库名称。索引名称只能全部小写，不能有大写。 index 类型 Elasticsearch的类型，类似关系数据库中的表名称。类型名称只能全部小写，不能有大写。 说明： Elasticsearch搜索引擎7
"_timestamp >= '${startTime}' and _timestamp < '${currentTime}'" } 源端数据库是数据仓库服务DWS或者MySQL时，对于时间的判断可以写成以下两种： _timestamp >= '2018-10-10 00:00:00'
服务中准备两套队列、数据库资源，建议通过名称后缀进行区分，详细操作请参见配置DataArts Studio企业模式环境隔离。 对于DWS、MRS Hive和MRS Spark这三种数据源，如果在创建数据连接时选择同一个集群，则需要配置数据源资源映射的DB数据库映射关系进行开发生产环境隔离，详细操作请参见DB配置。
nternet访问CDM实例的操作系统。 密钥加密：用户在CDM上创建连接输入的各种数据源的密钥，CDM均采用高强度加密算法保存在CDM数据库。 无中间存储：数据在迁移的过程中，CDM只处理数据映射和转换，而不会存储任何用户数据或片段。 父主题： 数据集成（CDM作业）
配置DWS目的端参数 表1 DWS作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 模式或表空间 待写入数据的数据库名称，支持自动创建Schema。 单击输入框后面的按钮可选择模式或表空间。 整库迁移时无该参数。 schema 表名 写入数据的目标表名，单击输入框后面的按钮可进入表的选择界面。
Hive、DLI、MRS ClickHouse、DORIS。 指标都是基于数据连接的，所以在建立指标之前需要先到元数据管理模块中建立数据连接。 数据库/队列 选择指标运行的数据库。 说明： 当数据源为DLI时，需要选择运行的队列。 描述 为更好的识别业务指标 ，此处加以描述信息。描述信息长度不能超过4096个字符。
} 参数说明 参数 是否必选 类型 说明 toJobConfig.database 是 String MongoDB/DDS的数据库名称 toJobConfig.collectionName 是 String MongoDB/DDS的集合名称。 toJobConfig.columnList
待写入数据的Elasticsearch的索引，类似关系数据库中的数据库名称。CDM支持自动创建索引和类型，索引和类型名称只能全部小写，不能有大写。 index 类型 待写入数据的Elasticsearch的类型，类似关系数据库中的表名称。类型名称只能全部小写，不能有大写。 说明：
常用于标记数据库来源，以确保导入到目的端数据的完整性。 图1 字段映射 目前支持以下类型自定义字段： 常量 常量参数即参数值是固定的参数，不需要重新配置值。例如“lable”=“friends”用来标识常量值。 变量 您可以使用时间宏、表名宏、版本宏等变量来标记数据库来源信息。变
是 String 写入数据的资源队列。 toJobConfig.database 是 String 写入数据到数据湖探索（DLI）的哪个数据库。 toJobConfig.table 是 String 写入数据的表名。 toJobConfig.columnList 否 String
SQL作业。 图2 创建Spark SQL单任务作业 配置与Hudi相对应的Spark数据连接，并选中需要操作Hudi表对应的数据库。 图3 配置连接与数据库 根据实际情况配置compaction的调度周期。 图4 配置调度周期 填写Spark SQL的compaction语句，提交并运行作业。
作空间的“数据开发”，系统跳转至数据开发页面。 构造原始表格student_score。新建临时Hive SQL脚本，选择Hive连接和数据库后，粘贴如下SQL语句并运行，运行成功后即可删除此脚本。 CREATE TABLE `student_score` (`name` String
通过API工具调用无认证方式的API 通过浏览器调用无认证方式的API 无认证方式建议仅在测试接口时使用，不推荐正式使用。若调用方为不可信任用户，则存在数据库安全风险（如数据泄露、数据库高并发访问导致宕机、SQL注入等风险）。 父主题： 通过不同方式调用API
态脱敏任务。静态脱敏场景与引擎之间的对应关系请参考参考：静态脱敏场景介绍。 随机脱敏支持配置“随机算法保持原数据关联性”参数，开启后不同数据库中的相同数据，经过相同的规则脱敏后，脱敏结果是一致的。注意此参数开启后会存在被破解的安全风险，如确需开启，建议配置随机盐值，用于抵抗字典攻击。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
