检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
对应的目的端数据源 关系型数据 MySQL Hadoop：MRS Hudi 消息系统：DMS Kafka 数据仓库：DWS SQLServer Hadoop：MRS Hudi 说明： 该链路目前需申请白名单后才能使用。如需使用该链路，请联系客服或技术支持人员。 PostgreSQL 数据仓库：DWS
配额，工作空间内调度作业将停止运行。 工作空间内购买的数据集成集群仍会继续计费。 启用工作空间：在“空间管理”页面，找到所需启用的工作空间，单击其所在行的状态按钮。在“启用”对话框中，如果确认启用，请单击“是”。 编辑工作空间：在“空间管理”页面，找到所需编辑的工作空间，单击其所
dw_type String 数据连接类型，对应表所在的数仓类型，取值可以为DWS、MRS_HIVE、POSTGRESQL、MRS_SPARK、CLICKHOUSE、MYSQL、ORACLE和DORIS等。 l1 String 主题域分组中文名，只读，创建和更新时无需填写。 l2
SQL单任务作业测试运行时，系统会默认开启以下四个配置参数： spark.sql.adaptive.enabled（启用AQE，使Spark能够根据正在处理的数据的特征动态优化查询的执行计划，可以通过减少需要处理的数据量来提高性能。） spark.sql.adaptive.join.enabled（启用AQE用
配额，工作空间内调度作业将停止运行。 工作空间内购买的数据集成集群仍会继续计费。 启用工作空间：在“空间管理”页面，找到所需启用的工作空间，单击其所在行的状态按钮。在“启用”对话框中，如果确认启用，请单击“是”。 编辑工作空间：在“空间管理”页面，找到所需编辑的工作空间，单击其所
INSERT：可向表中插入一行或多行数据。 UPSERT：数据存在则更新，不存在则新增。 INSERT 高级属性 先导入阶段表 如果选择“是”，则启用事务模式迁移，CDM会自动创建临时表，先将数据导入到该临时表，导入成功后再通过数据库的事务模式将数据迁移到目标表中，导入失败则将目的表回滚
String 数据类型扩展字段。 is_primary_key Boolean 是否主键，只读。 is_biz_primary Boolean 是否业务主键。 is_partition_key Boolean 是否主键分区，只读。 not_null Boolean 是否不为空。 stand_row_id
配置后导入前根据where条件删除目的表的数据。 age > 18 and age <= 60 高级参数 先导入阶段表 如果选择“是”，则启用事务模式迁移，CDM会自动创建临时表，先将数据导入到该临时表，导入成功后再通过数据库的事务模式将数据迁移到目标表中，导入失败则将目的表回滚
节。 您需要在云数据库RDS服务控制台，创建一个MySQL数据库实例，用于模拟原始数据源。建议创建MySQL数据库时，相关网络参数与DataArts Studio实例中的CDM集群的所在区域、虚拟私有云、子网、安全组保持一致，默认内网互通，否则还需手动打通MySQL数据库与CDM
数”怎么办？ 启用细粒度认证时，DWS联通性检测报错“FATAL: Invalid username/password,login denied”怎么办？ 启用细粒度认证后，在数据开发组件选择数据库时报错“Failed to obtain the database”怎么办？ 为什么权限同步到DLI中，会提示权限不够？
可见并生效。 前提条件 已创建MRS Hive连接或MRS Spark连接。 约束与限制 仅DAYU Administrator、Tenant Administrator用户或者数据安全管理员可以开启或关闭数据开发动态水印功能，至少为工作空间管理员角色才可以创建动态水印策略，其他普通用户无权限操作。
使用前必读 概述 调用说明 基本概念 终端节点Endpoint 项目ID和账号ID 实例ID和工作空间ID 数据资产guid 约束与限制
技术资产中的数据连接来源于管理中心的数据连接，库表列等来源于数据目录的元数据采集任务。 指标资产来自于数据架构组件中定义并发布过的业务指标。 约束限制 业务资产和指标资产来自于数据架构组件，会随数据架构同步的数据更新，但不支持随之删除。如需删除需要在数据目录中定位到资产后手动删除。
分隔，多对映射使用分号或回车换行分隔。 KMS密钥 是 “数据集成”参数开启时，呈现此参数。 通过KMS加密和解密用户密码和密钥对的密码，选择KMS中已创建的密钥。 绑定Agent 是 “数据集成”参数开启时，呈现此参数。 通过代理连接时，需要选择CDM集群，CDM集群提供Age
dw_type 是 String 数据连接类型，对应表所在的数仓类型，取值可以为DWS、MRS_HIVE、POSTGRESQL、MRS_SPARK、CLICKHOUSE、MYSQL、ORACLE和DORIS等。 l1 否 String 主题域分组中文名，只读，创建和更新时无需填写。 l2
配置SQLServer源端参数 支持从云端的数据库服务导出数据。 这些非云服务的数据库，既可以是用户在本地数据中心自建的数据库，也可以是用户在ECS上部署的，还可以是第三方云上的数据库服务。 表1 SQLServer作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数
dw_type String 数据连接类型，对应表所在的数仓类型，取值可以为DWS、MRS_HIVE、POSTGRESQL、MRS_SPARK、CLICKHOUSE、MYSQL、ORACLE和DORIS等。 l1 String 主题域分组中文名，只读，创建和更新时无需填写。 l2
由于企业模式下需要区分开发环境和生产环境，因此您需要分别准备对应生产环境和开发环境的两套数据湖服务，用于隔离开发和生产环境： 对于集群化的数据源（例如MRS、DWS、RDS、MySQL、Oracle、DIS、ECS），DataArts Studio通过管理中心的创建数据连接区分开发环境和生产环境的数据湖服务，在开发
是：记录脏数据 否：不记录脏数据 说明： 脏数据即Bad Records，由于数据类型不兼容、数据为空或者格式不兼容而导致无法加载到DLI中的记录归类为Bad Records。 选择记录脏数据后，Bad Records不会导入到目标表，而是导入到OBS脏数据路径中。 如果未配置工作
KERBEROS：安全模式选择Kerberos鉴权。 开启ldap 否 当Apache Hive对接外部LDAP开启了LDAP认证时，连接Hive时需要使用LDAP账号与密码进行认证，此时必须开启此参数，否则会连接失败。 ldap用户名 是 当“开启ldap”参数选择为“是”时，此参数是必选项。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
