检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
不足。建议您新建一个业务用户，给对应的权限后重试即可。 如果要创建MRS安全集群的数据连接，不能使用admin用户。因为admin用户是默认的管理页面用户，这个用户无法作为安全集群的认证用户来使用。您可以创建一个新的MRS用户，然后在创建MRS数据连接时，“用户名”和“密码”填写为新建的MRS用户及其密码。
能调优。这里保持默认值“1”。 是否写入脏数据：如果需要将作业执行过程中处理失败的数据、或者被清洗过滤掉的数据写入OBS中，以便后面查看，可通过该参数配置，写入脏数据前需要在CDM先配置好OBS连接。这里保持默认值“否”即可，不记录脏数据。 图8 任务配置 单击“保存并运行”，回
HetuEngineSQL PYTHON ImpalaSQL SparkPython content 是 String 脚本内容，最大支持64KB。 directory 否 String 脚本所在目录路径。 通过DataArts Studio管理控制台 > 数据开发，左侧列表选择“数据开发 > 脚
子对父 ：表示每条子表数据在父表中有且只有一条数据与之对应。 ：表示每条子表数据在父表中最多有一条数据与之对应。 ：表示每条子表数据在父表中可能有多条数据与之对应。 ：表示每条子表数据在父表中至少有一条数据与之对应。 父对子 ：表示每条父表数据在子表中有且只有一条数据与之对应。 ：表示
Studio对接数据源，即为通过管理中心创建数据源的数据连接。DataArts Studio管理中心数据连接与数据集成数据连接相互独立，使用场景各有不同。 管理中心的数据连接用于对接数据湖底座，DataArts Studio基于数据湖底座，提供一站式数据开发、治理和服务等能力。 数据集成的数据连接仅限于在数据集成中使
创建数据连接”。 图1 创建数据连接 单击“创建数据连接”，在弹出的页面中，选择“数据连接类型”为“数据仓库服务（DWS）”，并参见表1配置相关参数。 图2 DWS连接配置参数 表1 DWS数据连接 参数 是否必选 说明 数据连接类型 是 DWS连接固定选择为数据仓库服务（DWS）。
如何处理CDM从OBS迁移数据到DLI出现迁移中断失败的问题？ 问题描述 CDM从OBS迁移数据到DLI出现迁移中断失败。 解决方案 此类作业问题表现为配置了脏数据写入，但并无脏数据。这种情况下需要调低并发任务数，即可避免此类问题。 父主题： 数据集成
名称：用户自定义连接名称，例如“oracle_link”。 数据库服务器地址、端口：配置为Oracle服务器的地址、端口。 数据库名称：选择要导出数据的Oracle数据库名称。 用户名、密码：Oracle数据库的登录用户名和密码，该用户需要拥有Oracle元数据的读取权限。 单击“保存”回到连接管理界面。
指标设计 业务指标 技术指标 父主题： 数据架构
同步IAM用户到数据源 默认情况下，用户通过DataArts Studio数据连接访问数据源（此处指MRS/DWS数据源）时，使用数据连接中的账号密码进行认证。为实现不同用户访问数据源时，能够根据其自身用户信息管控用户访问数据的权限，需要先将IAM上的用户信息同步到数据源上，然后不同
停止、添加作业标签）。 4 查看作业实例状态 单击作业名称前方的，显示“最近的实例”页面，查看该作业最近的实例信息。 5 作业状态相关 在作业的“操作”列，支持作业级别的启动、暂停、恢复、停止调度、重跑、添加作业标签等。 6 添加作业标签 单击“添加作业标签”，弹出“添加作业标签”对话框进行配置。
ClickHouse数据连接参数说明 表1 OpenSource ClickHouse数据连接 参数 是否必选 说明 数据连接类型 是 OpenSource ClickHouse连接固定选择为MapReduce服务（OpenSource ClickHouse）。 数据连接名称 是 数据连接的名
Spark MRS Spark Python MRS ClickHouse MRS HetuEngine MRS Impala SQL MRS Flink Job MRS MapReduce CSS Shell RDS SQL ETL Job Python DORIS SQL GBase
用户需要提前创建对应数据库，否则可能导致后续自动建表失败。 与来源库同名：会迁移至目的端对应与来源库同名的数据库中。 自定义：支持用户指定目的端库名，也支持通过#{source_db_name}给源数据库名添加自定义字段变成目的端Hudi表的库名。 表匹配策略：配置目标数据表的匹配策略，使数据按照规划迁移至目标表。
Server PostgreSQL 支持从云端的数据库服务导出数据。 这些非云服务的数据库，既可以是用户在本地数据中心自建的数据库，也可以是用户在ECS上部署的，还可以是第三方云上的数据库服务。 从这些数据源导出数据时，CDM使用JDBC接口抽取数据，源端作业参数相同，详细请参见配置PostgreSQL/SQL
在ECS上调试好的shell脚本，在DLF中shell脚本执行异常。 脚本内容是通过gsql连接dws查询某库表数据行数的。 ECS调试结果： DLF脚本运行结果： 解决方案 添加如下两条命令： export LD_LIBRARY_PATH=/usr/local/dws_client_8
oracle_link 数据库服务器 配置为要连接的数据库的IP地址或域名。 192.168.0.1 端口 配置为要连接的数据库的端口。 默认端口：1521 数据库连接类型 选择Oracle数据库连接类型： Service Name：通过SERVICE_NAME连接Oracle数据库。 SID：通过SID连接Oracle数据库。
Job 功能 通过CDM Job节点执行一个预先定义的CDM作业，实现数据迁移功能。 如果CDM作业中配置了时间宏变量，通过DataArts Studio数据开发调度CDM迁移作业时，系统会将时间宏变量替换为（数据开发作业计划启动时间-偏移量），而不是（CDM作业实际启动时间-偏移量）。
购买数据服务专享集群增量包 数据服务专享集群增量包对应数据服务专享版集群。创建一个数据服务专享集群增量包，系统会按照您所选规格自动创建一个数据服务专享集群。 数据服务定位于标准化的数据服务平台，提供了快速将数据表生成数据API的能力，帮助您简单、快速、低成本、低风险地实现数据开放。
属性配置 否 “数据集成”参数开启时，呈现此参数。可选参数，单击“添加”可增加多个指定数据源的JDBC连接器的属性，参考对应数据库的JDBC连接器说明文档进行配置。 常见配置举例如下： connectTimeout=360000与socketTimeout=360000：迁移数据量较大、
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
