检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
是否必选 参数类型 描述 project_id 是 String 项目ID，获取方法请参见项目ID和账号ID。 dw_id 是 String 数据连接id，获取方法请参见查询细粒度认证数据源连接列表。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 workspace
可通过在作业任务配置参数单击中“添加自定义属性”来新增MySQL同步参数。 图1 添加自定义属性 可使用的调优参数具体如下： 表1 全量阶段优化参数 参数名 类型 默认值 说明 scan.incremental.snapshot.backfill.skip boolean true 全量阶段是否跳过
义名称、编码、数据类型、告警条件和描述等信息。 表2 预览衍生指标参数说明 参数名称 说明 名称 系统已根据原子指标、统计维度、时间限定等参数自动生成，您也可以自定义。 编码 系统已根据原子指标、统计维度、时间限定等参数编码自动生成，您也可以自定义。 数据类型 系统已根据原子指标的数据类型自动生成，您也可以自定义。
配置Hudi源端参数 表1 MRS Hudi作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 数据库名称 输入或选择数据库名称。单击输入框后面的按钮可进入数据库选择界面。 default 表名 输入或选择Hudi表名。单击输入框后面的按钮可进入表的选择界面。 该参
配置MongoDB目的端参数 表1 MongoDB作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 数据库 输入或选择数据库名称。单击输入框后面的按钮可以进入数据库的选择界面。 default 集合名 写入数据的集合名，单击输入框后面的按钮可进入集合的选择界面。
配置Migration实时集成作业时，检测源端、目的端数据源与资源组的连通性报异常。 图1 连通性检测异常 解决方案 请根据异常项参考下表进行排查。 表1 网络不通排查方法 类型 异常项 方法 数据源 - CDM异常 实例状态检查异常 检查集群是否在及是否正常运行。 连通性检查异常 若CDM集群和数据源在同一个VP
预设数据集成、SQL、Spark、Shell、机器学习等多种任务类型，通过任务间依赖完成复杂数据分析处理。 支持导入和导出作业。 资源管理 支持统一管理在脚本开发和作业开发使用到的file、jar、archive类型的资源。 作业调度 支持单次调度、周期调度和事件驱动调度，周期调
数据中心自建的数据库，也可以是用户在ECS上部署的，还可以是第三方云上的数据库服务。 表1 PostgreSQL作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 使用SQL语句 导出关系型数据库的数据时，您可以选择使用自定义SQL语句导出。 否 SQL语句 “使用
当前一节点的输出结果是一个字段时，输出结果形如[["000"]]所示。此时可通过EL表达式分割字符串结果，获取前一节点输出的字段值，但注意输出结果类型为String。需要输出原数据类型时，仍需通过For Each节点及其支持的Loop内嵌对象EL表达式获取。 #{StringUtil.split(StringUtil
这些非云服务的数据库，既可以是用户在本地数据中心自建的数据库，也可以是用户在ECS上部署的，还可以是第三方云上的数据库服务。 表1 SQLServer作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 使用SQL语句 导出关系型数据库的数据时，您可以选择使用自定义SQL语句导出。 否 SQL语句 “使用
请参见什么是默认密钥。 绑定Agent 是 RDS类型数据源为非全托管服务，DataArts Studio无法直接与非全托管服务进行连接。CDM集群提供了DataArts Studio与非全托管服务通信的代理，所以创建RDS类型的数据连接时，请选择一个CDM集群。如果没有可用的CDM集群，请先进行创建。
换用户，密码不会立即生效且作业会运行失败。 表1 CloudTable连接参数 参数名 说明 取值样例 名称 连接的名称，根据连接的数据源类型，用户可自定义便于记忆、区分的连接名。 cloudtable_link ZK链接地址 可通过CloudTable服务的集群管理界面获取该参数值。
不支持二进制格式或其他格式的消息内容解析。 作业中源连接为DIS连接时，源端作业参数如所表1示。 表1 DIS作为源端时的作业参数 参数类型 参数 说明 取值样例 基本参数 DIS通道 DIS的通道名。 dis 是否持久运行 用户自定义是否永久运行。设置为长久运行的任务，如果DIS系统发生中断，任务也会失败结束。
数据治理中心-成长地图 | 华为云 数据治理中心 数据治理中心(DataArts Studio)是数据全生命周期一站式开发运营平台，提供数据集成、数据开发、数据治理、数据服务等功能，支持行业知识库智能化建设，支持大数据存储、大数据计算分析引擎等数据底座，帮助企业客户快速构建数据运营能力。
表1 配置用户同步任务参数说明 配置 说明 *选择集群 选择DWS或Ranger数据连接中已连接的DWS或MRS集群。 *集群类型 无需选择，自动匹配集群类型。 *数据连接 无需选择，自动匹配集群数据连接中的数据源集群。 *调度时间 选择调度运行的时间段，左闭右开。 例如调度时间为
['003']] 。 说明： 如果要让“00”“01”当成数字类型作为参数传递，需要配置为[["00"],["01"]];[[00],[01]];[['00'],['01']]。 如果要让“00”“01”当成字符类型作为参数传递，需要加上转义字符，例如：[["\"00\""],[
定义访问数据实体存储（计算）空间所需的信息的集合，包括连接类型、名称和登录信息等。 并发数 并发数是数据集成作业中，可以从源端并行读取的最大线程数。 脏数据 脏数据是对于业务没有意义或者格式非法的数据。例如，源端是VARCHAR类型的数据写到INT类型的目标列中，导致因为转换不合理而无法写入的数据。
表1 添加队列资源参数说明 参数名 参数描述 *资源类型 选择MRS队列或者DLI队列。 *数据连接 选择队列所在的数据连接。如需新建数据连接，请参考创建DataArts Studio数据连接。 *集群名称 仅当资源类型为MRS队列时显示，无需填写， 系统自动匹配数据连接对应的集群名称。
”页签，然后在筛选条件中选择业务对象，将显示符合条件的业务资产。 选择“技术资产”页签，然后在筛选条件中“数据连接”选择所需查看的连接，“类型”选择“Table”，右侧页面将显示符合条件的所有的元数据。 图1 技术资产 在资产列表中，单击所需查看的元数据名称，即可查看详情信息。
连接云搜索服务(CSS)时，相关参数如表1所示。 表1 云搜索服务(CSS)连接参数 参数名 说明 取值样例 名称 连接的名称，根据连接的数据源类型，用户可自定义便于记忆、区分的连接名。 css_link Elasticsearch服务器列表 配置为一个或多个Elasticsearch
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
