检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
_HIVE、POSTGRESQL、MRS_SPARK、CLICKHOUSE、MYSQL、ORACLE和DORIS等。 dw_id 是 String 数据连接ID。 db_name 否 String 数据库名。 queue_name 否 String dli数据连接执行sql所需的队列，数据连接类型为DLI时必须。
DN参数值均为“enable_data_redaction”，用于启用DWS动态脱敏能力，修改操作详见修改数据库参数。 数据连接中的账户要具备待控制表的GRANT权限（数据库对象创建后，默认只有对象所有者或者系统管理员可以通过GRANT命令将对象的权限授予其他用户）。 MRS H
String 数据库名称。 table_name 否 String 表名称。 data_connection_score_order 否 String 数据连接评分排序，0表示升序，1表示降序，与其他排序条件互斥。 database_score_order 否 String 数据库评分排
MRS Flink Job 功能 通过MRS Flink Job节点执行数据开发模块中预先定义的Flink SQL脚本和Flink作业。 MRS Flink Job节点的具体使用教程，请参见开发一个MRS Flink作业。 参数 用户可参考表1和表2配置MRS Flink节点的参数。
开发Pipeline作业 对已新建的作业进行开发和配置。 开发Pipeline模式的批处理作业和实时处理作业，请您参考编排作业节点、配置作业基本信息、配置作业参数和调测并保存作业章节。 前提条件 已创建作业，详情请参见新建作业。 当前用户已锁定该作业，否则需要通过“抢锁”锁定作业
若关联的SQL脚本，脚本参数发生变化，可单击刷新按钮同步。 数据连接 是 默认选择SQL脚本中设置的数据连接，支持修改。 数据库 是 默认选择SQL脚本中设置的数据库，支持修改。 运行程序参数 否 为本次执行的作业配置相关优化参数（例如线程、内存、CPU核数等），用于优化资源使用效率，提升作业的执行性能。
outputDirectory 是 String 数据写入的路径，例如“/data_dir”。 toJobConfig.outputFormat 是 枚举 写入数据时所用的文件格式（二进制除外），支持以下文件格式： CSV_FILE：按照CSV格式写入数据。 BINARY_FILE：二进制格式
回滚内容包括： DLI：数据连接、数据库、资源队列、脚本内容。 DWS：数据连接、数据库、脚本内容。 HIVE：数据连接、数据库、资源队列、脚本内容。 SPARK：数据连接、数据库、脚本内容。 SHELL：主机连接、参数、交互式参数、脚本内容。 RDS：数据连接、数据库、脚本内容。 PRESTO：数据连接、模式、脚本内容。
在数据开发界面，在DWS连接上右键单击，选择“新建数据库”，创建一个数据库用于存放数据表，数据库名称为“demo”。 图4 创建数据库 展开DWS连接目录至demo数据库的数据库模式层级，然后再右键单击，选择“新建模式”，创建数据库模式用于存放数据表，数据库模式名称为“dgc”。 图5 创建数据库模式 创建一个DWS
配置默认项 本章节主要介绍默认项的配置。当前只有具备 Administrator或Tenant Administrator账号权限的用户才有默认配置项的相关操作权限。 使用场景 当某参数被多个作业调用时，可将此参数提取出来作为默认配置项，无需每个作业都配置该参数。 表1 配置项列表
当多个数据连接共用同一Agent时，通过这些数据连接提交SQL作业、Shell脚本、Python脚本等任务的同时运行上限为200。 数据集成配置 数据库名称 是 要连接的数据库。 直连模式 否 是否直连，适用于主节点网络通，副本节点网络不通场景。 属性配置 否 自定义连接属性，当前支持socketTi
参数名 是否必选 参数类型 说明 scriptName 是 String 脚本名称。 database 否 String 数据库名称。 MRS Hive中的数据库，默认default。 connectionName 否 String 连接名称。 scriptArgs 否 String
访问日志，仅API方可见）。 CDM中代理异常，错误原因详见返回的DLG错误信息。 调用超时，若为DWS数据库，建议API采用自定义分页。 调用超时，请优化查询语句，确保数据库中能短时间内完成执行。 DLM.4211 Token invalid token校验不通过。 确认token是否正确。
参数名 是否必选 参数类型 说明 scriptName 是 String 脚本名称 database 否 String 数据库名称 MRS Hive中的数据库，默认default。 connectionName 否 String 连接名称 scriptArgs 否 String
须填写。 dw_id 是 String 汇总表所在的数据连接ID，为32位十六进制数字。 db_name 是 String 汇总表所在的数据库名。 schema 否 String 汇总表所在的Schema名，DWS类型必须填写。 dw_name 否 String 数据连接名称，只读，创建和更新时无需填写。
服务中，在GES中对最新数据进行可视化图形分析。 场景说明 本案例基于某电影网站的用户和评分数据，使用DataArts Studio将MySQL原始数据处理为标准点数据集和边数据集，并同步到OBS和MRS Hive中，然后通过Import GES节点自动生成元数据后，将图数据导入到GES服务中。
type：脚本类型。 content：脚本的内容。 connectionName：脚本关联的连接名称。 database：脚本执行的时候，关联的数据库名称。 queueName：sql执行的时候，运行在dli的队列名称。 父主题： 应用示例
问DataArts Studio。 各组件API的流量限制请参见API概览。 数据集成API的约束如下： CDM的作业数据量太多，会造成数据库压力，建议定时清理不需要的作业。 短时间内下发大量作业，可能会导致集群资源耗尽异常等，您调用API时需要注意。 CDM是批量离线迁移工具，不建议客户创建大量小作业场景。
增量迁移原理介绍 文件增量迁移 关系数据库增量迁移 HBase/CloudTable增量迁移 MongoDB/DDS增量迁移 父主题： 数据迁移进阶实践
配置LTS源端参数 表1 LTS作为源端时的作业参数 参数名 说明 取值样例 源连接名称 对应关系数据库的表名。 TABLENAME 单次查询数据条数 一次从日志服务查询的数据条数。 128 日志分组 日志组是云日志服务进行日志管理的基本单位。 _ 日志流 日志流是日志读写的基本单位。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
