检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建作业 功能介绍 此接口可以创建一个新作业，作业由一个或多个相互依赖的节点构成，支持Hive SQL、CDM Job等节点。DLF有两类型作业：批处理作业和实时作业。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。 URI URI格式 POST /v1/{project_id}/jobs
MySQL数据库的IP地址或域名。 - 端口 MySQL数据库的端口。 3306 数据库名称 MySQL数据库的名称。 sqoop 用户名 拥有MySQL数据库的读、写和删除权限的用户。 admin 密码 用户的密码。 - 使用本地API 使用数据库本地API加速（系统会尝试启用MySQL数据库的local_infile系统变量）。
查询某个脱敏策略的详细信息 功能介绍 查询某个脱敏策略的详细信息。 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/security/masking/dynamic/policies/{id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id
是否将bit1输出成int类型。 sink.delivery-guarantee string at-least-once - Flink写Kafka时的语义保证机制。 at-least-once：在 checkpoint 时会等待 Kafka 缓冲区中的数据全部被 Kafka producer
如不需用请置空。 检查streamLoad连通性 否 测试Doris streamLoad连通性，当使用场景通过streamLoad方式写数据的时候时，需要保证该连通正常。 创建MRS安全集群的kerberos认证用户 如果要创建MRS安全集群的数据连接，不能使用admin用户
参考MRS配置组件权限策略。 表1 支持的组件及权限列表 组件名 权限说明 HDFS HDFS文件的权限： Read：读权限 Write：写权限 Excute：执行权限 Hive Hive数据库、数据表、列的权限： Select：查询权限 Update：更新权限 Create：创建权限
或技术支持人员。 基础与网络连通配置 IP或域名 是 关系型数据库数据源的访问地址，可填写为IP或域名。 “IP或域名”如果手动填写，必须写内网IP，端口必须为对资源组网段放开的端口（如需设置请参见设置安全组规则），否则可能导致网络连接不通。 如果为RDS或GaussDB等云上数据源，可以通过管理控制台获取访问地址：
新建表/文件迁移作业 操作场景 CDM可以实现在同构、异构数据源之间进行表或文件级别的数据迁移，支持表/文件迁移的数据源请参见支持的数据源。 约束限制 记录脏数据功能依赖于OBS服务。 作业导入时，JSON文件大小不超过1MB。 单文件传输大小不超过1TB。 配置源端和目的端参数时，字段名不可包含&和%。
MySQL数据库的IP地址或域名。 - 端口 MySQL数据库的端口。 3306 数据库名称 MySQL数据库的名称。 sqoop 用户名 拥有MySQL数据库的读、写和删除权限的用户。 admin 密码 用户的密码。 - 使用本地API 使用数据库本地API加速（系统会尝试启用MySQL数据库的local_infile系统变量）。
逻辑删除开关，changelog开启时必须关闭逻辑删除。 hoodie.write.liststatus.optimized boolean true - 写log文件时是否开启liststatus优化。涉及到大表和分区数据量多的作业，在启动时list会非常耗时，可能导致作业启动超时，建议关闭。 hoodie
逻辑删除开关，changelog开启时必须关闭逻辑删除。 hoodie.write.liststatus.optimized boolean true - 写log文件时是否开启liststatus优化。涉及到大表和分区数据量多的作业，在启动时list会非常耗时，可能导致作业启动超时，建议关闭。 hoodie
创建数据脱敏策略 功能介绍 创建动态数据脱敏策略。 调用方法 请参见如何调用API。 URI POST /v1/{project_id}/security/masking/dynamic/policies 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String
更新动态数据脱敏策略 功能介绍 更新动态数据脱敏策略。 调用方法 请参见如何调用API。 URI PUT /v1/{project_id}/security/masking/dynamic/policies/{id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id
逻辑删除开关，changelog开启时必须关闭逻辑删除。 hoodie.write.liststatus.optimized boolean true - 写log文件时是否开启liststatus优化。涉及到大表和分区数据量多的作业，在启动时list会非常耗时，可能导致作业启动超时，建议关闭。 hoodie
开发SQL脚本 数据开发支持对SQL脚本进行在线开发、调试和执行，开发完成的脚本可以在作业中调度运行（请参见开发Pipeline作业）。 数据开发模块支持如下类型SQL脚本。而不同数据源的SQL语法有所差异，开发SQL语句前请预先了解各数据源的语法规则。 DLI SQL脚本：请参见SQL语法参考。
开发批处理单任务SQL作业 对已新建的作业进行开发和配置。 开发单任务模式的批处理作业，请您参考开发SQL脚本、配置作业参数、质量监控、数据表、调测并保存作业和下载或转储脚本执行结果章节。 前提条件 已创建作业，详情请参见新建作业。 当前用户已锁定该作业，否则需要通过“抢锁”锁定
支持的数据类型 配置字段映射时，数据源支持的数据类型请参见表1，以确保数据完整导入到目的端。 表1 支持的数据类型 数据连接类型 数据类型说明 MySQL 请参见MySQL数据库迁移时支持的数据类型。 SQL Server 请参见SQL Server数据库迁移时支持的数据类型。 Oracle
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
