检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
HDFS作为目的端时的作业参数 参数名 说明 取值样例 写入目录 写入数据到HDFS服务器的目录。 该参数支持配置为时间宏变量，且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合，可以实现定期同步新增数据，详细说明请参见使用时间宏变量完成增量同步。 说明： 如果配置了时间宏变量，通过DataArts
输入或选择写入数据的目标表名。单击输入框后面的按钮可进入表的选择界面。 该参数支持配置为时间宏变量，且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合，可以实现定期同步新增数据，详细说明请参见使用时间宏变量完成增量同步。 说明： 如果配置了时间宏变量，通过DataArts
startEndMark：默认是为false。设置为true时，写入消息前将会同步一个开始消息和结束的消息。 columnAsKey：指定写入数据key值，也可以通过指定字段值作为key，通过配置@{column1}--@{column2}。 例如：目的端字段为id、name，需要使用这两个字段值，则配置成@{id}--@{name}。
用场景，但Migration服务也提供修改JobManager和TaskManager规格的能力以应对极端情况。例如最常见的作业内存溢出，可以在实时集成作业的“任务配置”中添加自定义属性，根据实际情况调整JobManager和TaskManager的各类内存来适应同步场景。 图1
Hive，MRS HBase 消息系统：MRS Kafka - 上表中非云服务的数据源，例如MySQL，既可以支持用户本地数据中心自建的MySQL，也可以是用户在ECS上自建的MySQL，还可以是第三方云的MySQL服务。 整库迁移支持的数据源类型 整库迁移适用于将本地数据中心或在ECS上
通过浏览器下载地址，获取到导出的zip文件。 图1 选择并导出作业 在弹出的“导出作业”界面，选择需要导出的作业范围和状态，单击“确定”，可以在下载中心查看导入结果。 图2 导出作业 导入作业 导入作业功能依赖于OBS服务，如无OBS服务，可从本地导入。 从OBS导入的作业文件，
Boolean 选择是否开启HBase的预写日志机制（WAL，Write Ahead Log）。 是：开启后如果出现HBase服务器宕机，则可以从WAL中回放执行之前没有完成的操作。 否：关闭时能提升写入性能，但如果HBase服务器宕机可能会造成数据丢失。 toJobConfig.transType
绑定Agent 是 DataArts无法直接与非全托管服务进行连接，需要提供DataArts Studio与非全托管服务通信的代理。CDM集群可以提供通信代理服务，请选择一个CDM集群，如果没有可用的CDM集群，请先通过数据集成增量包进行创建。 当多个数据连接共用同一Agent时，通
功的任务才会显示溯源信息。 图3 溯源信息 删除任务：在数据水印溯源页面，单击对应任务操作栏中的“删除”，即可删除任务。当需要批量删除时，可以在勾选任务后，在任务列表上方单击“批量删除”。 运行状态为正在“执行中”的任务不允许被删除。 删除操作无法撤销，请谨慎操作。 父主题： 管理数据水印
二进制格式适用于文件迁移场景。 CSV格式 JSON类型 文件格式为JSON格式时支持此参数。 JSON文件中存储的JSON对象的类型，可以选择JSON对象或JSON数组。 JSON对象 记录节点 文件类型为JSON对象时支持此参数。 记录数据的根节点。该节点对应的数据为JSO
of strings 需要物化的逻辑实体的ID列表，ID字符串。 dw_type 是 String 数据连接类型，对应表所在的数仓类型，取值可以为DWS、MRS_HIVE、POSTGRESQL、MRS_SPARK、CLICKHOUSE、MYSQL、ORACLE和DORIS等。 connection_id
数据表 CSS 选择集群 选择待采集数据存储的CSS集群。 您也可以单击“新建”，创建CSS集群，创建完成后单击“刷新”，选择新建的CSS集群即可。 绑定Agent 请选择由CDM集群提供的Agent。 用户也可以单击“新建”，创建新的Agent，创建完成后单击“刷新”，选择新的Agent即可。
ogstash导入数据到Elasticsearch。 上表中非云服务的数据源，例如MySQL，既可以支持用户本地数据中心自建的MySQL，也可以是用户在ECS上自建的MySQL，还可以是第三方云的MySQL服务。 整库迁移支持的数据源类型 整库迁移适用于将本地数据中心或在ECS上
txt 其中： obs://dlf-test/lkj_test/input/word.txt为wordcount.jar的传入参数路径，可以把需要统计的单词写到里面； obs://dlf-test/lkj_test/output.txt为输出参数文件的路径（如已存在output
业实例都会处于等待运行状态。 是否空跑 否 如果勾选了空跑，该节点不会实际执行，将直接返回成功。 任务组 否 选择任务组。任务组配置好后，可以更细粒度的进行当前任务组中的作业节点的并发数控制，比如作业中包含多个节点、补数据、重跑等场景。 父主题： 节点参考
作。 安全管理员的权限当且仅当在数据安全组件生效，对于周边组件和其他服务，此身份无效。 图1 配置安全管理员 查看数据概况 在总览页，用户可以根据日期，根据不同数据源类型。例如查看数据仓库服务（DWS）、数据湖探索（DLI）或MapReduce服务（MRS Hive）类型的下所包
输入后端数据库的IP、端口、数据库名称、账户名、密码，以“:”隔开。即ip:port:dbs:username:password，其中username:password可以不填，此时以“用户名”、“密码”配置为准。 如果此处有多个后端数据库，需要确保表结构一致，并使用“|”分隔数据源。如果密码包含“|”或者“:”，可使用“\”转义。
绑定Agent 是 DataArts无法直接与非全托管服务进行连接，需要提供DataArts Studio与非全托管服务通信的代理。CDM集群可以提供通信代理服务，请选择一个CDM集群，如果没有可用的CDM集群，请先通过数据集成增量包进行创建。 当多个数据连接共用同一Agent时，通
2400 120 批量删除API 批量删除API。 2400 120 发布API 发布API。API只有发布后，才能够被调用。API发布时，可以将API发送至指定网关。 2400 120 API操作(下线/停用/恢复) 下线API。将已发布的API下线。下线后，所有授权关系都会被解除，API将无法再被调用。
质量作业和对账作业执行时长依赖数据引擎，如果底层数据引擎资源不足，可能会导致运行速度变慢。 单个质量作业最多可以配置50条子作业（规则），如有需要可拆分为多个质量作业。 单个对账作业最多可以配置5条子作业（规则），如有需要可拆分为多个对账作业。 质量作业和对账作业，其单个子作业的数据对象（库、表、字段）个数限制均为300个。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
