检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
agent_name 否 String 代理集群名称，获取方法请参见查询集群列表。 env_type 否 Integer 0：开发模式 1：生产模式，默认为0。 qualified_name 否 String 数据连接限定名称。 dw_id 否 String 数据连接id，可通过数据连接列表中获取。
关键操作指导 增量迁移原理介绍 事务模式迁移 迁移文件时加解密 MD5校验文件一致性 字段转换器配置指导 新增字段操作指导 指定文件名迁移 正则表达式分隔半结构化文本 记录数据迁移入库时间 文件格式介绍 不支持数据类型转换规避指导 自动建表原理介绍 父主题： 数据集成
子作业参数：子作业参数是子作业中定义的参数名，然后在主作业中定义的参数值，传递到子作业以供使用。此处子作业参数名定义为name和score，其值为分别为数据集中的第一列和第二列数值，使用EL表达式#{Loop.current[0]}和#{Loop.current[1]}。 图5 主作业样例 而For Each节点中所选的子作业，则需要定义For
agent_name 否 String 代理集群名称，获取方法请参见查询集群列表。 env_type 否 Integer 0：开发模式 1：生产模式，默认为0。 qualified_name 否 String 数据连接限定名称。 dw_id 否 String 数据连接id，可通过数据连接列表中获取。
项目名称可以参考如下步骤进行获取： 注册并登录管理控制台。 在用户名的下拉列表中单击“我的凭证”。 在“API凭证”页面，查看账号名和账号ID、IAM用户名和IAM用户ID，在项目列表中查看项目和项目ID。 实例ID可参考如下步骤进行获取： 在DataArts Studio控制台首页，选择对应工作空间，并单击任一模块，如“管理中心”。
DLIResources jobClass 否 String 主类名称。当应用程序类型为“.jar”时，主类名称不能为空。 resourcePath 是 String JAR包资源路径 jarArgs 否 String 主类入口参数 sparkConfig 否 String Spark作业运行参数
创建MySQL连接时，使用本地API加速，可以使用MySQL的LOAD DATA功能加快数据导入，提高导入数据到MySQL数据库的性能。 说明： REPLACE 和 IGNORE 修饰符用于处理与现有行具有相同唯一键值（PRIMARY KEY或UNIQUE索引值）的新输入的行。 约束冲突处理配置为"replace
发”模块，进入数据开发页面。 在数据开发主界面的左侧导航栏，选择“配置管理 > 配置”。 选择“作业标签”，进入“作业标签管理”页面。 单击“新建”，配置作业名称，确认后完成新建。 作业标签最多支持创建100个。 删除作业标签 在数据开发主界面的左侧导航栏，选择“配置管理 > 配置”。
配置作业参数 保存并提交版本。子作业sub创建完成。 创建一个Pipeline作业 在数据开发主界面的左侧导航栏，选择“数据开发 > 作业开发”。 选择MRS Spark SQL节点和For Each循环执行的节点，让CDM子作业循环执行，并配置节点属性参数。 配置MRS Spark
据开发页面。 在数据开发主界面的左侧导航栏，选择“数据开发 > 脚本开发”。 在左侧目录上方，单击运行历史图标，显示该登录用户历史7天的脚本、作业的运行记录。 在过滤框中选择“脚本”，展示历史7天的脚本运行记录。 单击某一条运行记录，可查看当时的脚本信息和运行结果。 下载脚本历史运行结果。
ance_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID，获取方法请参见项目ID和账号ID。 instance_id 是 String 实例ID，获取方法请参见获取集群列表。 请求参数 表2 请求Header参数 参数 是否必选
SQL节点不支持Hive的事务表。 参数 用户可参考表1，表2和表3配置MRS Hive SQL节点的参数。 表1 属性参数 参数 是否必选 说明 MRS作业名称 否 MRS的作业名称。 如果未设置MRS作业名称且选择直连模式时，节点名称只能由英文字母、数字、中划线和下划线组成，长度不能超过64个字符，不能包含中文字符。
选择跨字段级规则时，需要在计算范围中同时配置数据表和参考表。 跨源级规则目前只支持基于Hetu连接的MRS Hive和DWS之间的字段对比作业。 配置跨源级规则前，需要在MRS Hetu中创建MRS Hive数据源和GUASSDB数据源。详情请参考配置Hive数据源和配置GUASSDB数据源。 数据连接
jar dependFiles 否 List<String> 主Jar包所依赖的JAR包、properties文件。总的长度不能超过10240个字符。 dependPackages 否 List<DependPackage> 主Jar包所依赖的JAR包、properties文件。总的长
L语句。 参数 用户可参考表1，表2和表3配置MRS Spark SQL节点的参数。 表1 属性参数 参数 是否必选 说明 MRS作业名称 否 MRS的作业名称。 如果未设置MRS作业名称且选择直连模式时，节点名称只能由英文字母、数字、中划线和下划线组成，长度不能超过64个字符，不能包含中文字符。
DLIResources jobClass 否 String 主类名称。当应用程序类型为“.jar”时，主类名称不能为空。 resourcePath 是 String JAR包资源路径 jarArgs 否 String 主类入口参数 sparkConfig 否 String Spark作业运行参数
复制名称和重命名作业 您可以通过复制名称功能复制当前作业名称，通过重命名功能修改当前作业名称。 前提条件 已完成作业开发。如何开发作业，请参见开发Pipeline作业。 复制名称 参考访问DataArts Studio实例控制台，登录DataArts Studio管理控制台。 在DataArts
d/{guid} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID，获取方法请参见项目ID和账号ID。 guid 是 String 资产guid，获取方法请参见数据资产guid。 表2 Query参数 参数 是否必选 参数类型 描述
DLIResources jobClass 否 String 主类名称。当应用程序类型为“.jar”时，主类名称不能为空。 resourcePath 是 String JAR包资源路径 jarArgs 否 String 主类入口参数 sparkConfig 否 String Spark作业运行参数
当您不需要使用某个脚本时，可以参考如下操作删除该脚本。 删除脚本时会检查脚本被哪个作业引用，引用列表中显示“版本”，表示此脚本被哪些作业版本引用。单击删除时，会删除对应的作业和这个作业的所有版本信息。 如果某一个待删除的脚本正在被作业关联，请确保强制删除脚本后，不影响业务使用。如果希望作业能继续正常使用，请前往作业开发页面，重新关联可用的脚本。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
