检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
表达式概述 数据开发模块作业中的节点参数可以使用表达式语言（Expression Language，简称EL），根据运行环境动态生成参数值。可以根据Pipeline输入参数、上游节点输出等决定是否执行此节点。数据开发模块EL表达式使用简单的算术和逻辑计算，引用内嵌对象，包括作业对象和一些工具类对象。
数据源认证及其他功能配置 用户名 是 数据库的用户名，创建DWS集群时指定的用户名。 密码 是 数据库的访问密码，创建DWS集群时指定的密码。 数据集成配置 数据库名称 是 适用组件勾选数据集成后，呈现此参数。 配置为要连接的数据库名称。 单次请求行数 否 适用组件勾选数据集成后，呈现此参数。
数据开发模块的脚本开发功能支持新建、编辑、调试、执行各类SQL、Python和shell脚本，开发脚本前请先新建脚本。 前提条件 已完成新建数据连接和新建数据库等操作。 脚本在每个工作空间的最大配额为10000，脚本目录最多5000个，目录层级最多为10层。请确保当前数量未达到最大配额。 操作步骤
base_name，table_name参数值。 database_name 否 String 数据库名称，如果是获取技术报告规则评分，请务必填写data_connection_id，database_name，table_name参数值。 table_name 否 String
Studio支持连接哪些数据源？ DataArts Studio支持对接如DLI、DWS、MRS Hive等云服务，也支持对接如MySQL、Oracle等传统数据库，支持程度各有不同，详情请参见DataArts Studio支持的数据源章节。 DataArts Studio对接数据源，即为通过管理中心创建数据源的数据连接。DataArts
删除了表字段，则无法在数据库中相应的删除表字段。 如果线下数据库支持更新表结构语法，可以在DDL模板配置对应语法, 之后更新操作就可以通过DataArts Studio管控；如果线下数据库不支持更新, 那只有通过重建这种方式更新。 重建数据表：先删除数据库中已有的表，再重新创建表
base_name，table_name参数值。 database_name 否 String 数据库名称，如果是获取技术报告规则评分，请务必填写data_connection_id，database_name，table_name参数值。 table_name 否 String
库匹配策略：配置目标数据库的匹配策略，使数据按照规划迁移至目标库。 用户需要提前创建对应数据库，否则可能导致后续自动建表失败。 与来源库同名：会迁移至目的端对应与来源库同名的数据库中。 自定义：支持用户指定目的端库名，也支持通过#{source_db_name}给源数据库名添加自定义字段变成目的端Hudi表的库名。
empty 测试是否空值 ?: 类似if else表示式。如果?前面的语句为true，返回?和:之间的表达式的值；否则返回:后面的值。 举例 如果变量a为空，返回default，否则返回a本身。EL表达式如下： #{empty a?"default":a} 父主题： EL表达式参考
如果SQL脚本的内容有变化，补数据作业运行的是最新版本的脚本。 使用补数据功能时，如SQL中变量是DATE，脚本中就写${DATE}，在作业参数中会自动增加脚本参数DATE，脚本参数DATE的值支持使用EL表达式。如果是变量时间的话，需要使用DateUtil内嵌对象的表达式，平台会自动转换成历史日期。EL表达式用法可参考EL表达式。
获取方法：在集群管理界面，单击CDM集群名称可查看集群ID，例如“c110beff-0f11-4e75-8b10-da7cd882b0ef”。 创建一个MySQL数据库和一个DWS数据库，并创建好表city1和表city2，创表语句如下： MySQL: create table city1(code varchar(10)
StringUtils实现的，具体使用方法请参考apache commons文档。 举例1 假设变量a为字符串No.0010，返回“.”后面的子字符串，EL表达式如下： #{StringUtil.substringAfter(a,".")} 举例2 假设变量b为字符串No,0020，返回“,”后面的子字符串，EL表达式如下：
SQL脚本“hive_sql”。 数据连接：默认选择SQL脚本“hive_sql”中设置的数据连接，支持修改。 数据库：默认选择SQL脚本“hive_sql”中设置的数据库，支持修改。 作业编排完成后，单击，测试运行作业。 如果运行成功，单击画布空白处，在右侧的“调度配置”页面，配置作业的调度策略。
如果SQL脚本的内容有变化，补数据作业运行的是最新版本的脚本。 使用补数据功能时，如SQL中变量是DATE，脚本中就写${DATE}，在作业参数中会自动增加脚本参数DATE，脚本参数DATE的值支持使用EL表达式。如果是变量时间的话，需要使用DateUtil内嵌对象的表达式，平台会自动转换成历史日期。EL表达式用法可参考EL表达式。
Oracel的RBS（rollbackspace 回滚时使用的表空间）较小，造成迁移任务没有完成，源库已更新，回滚超时。 建议与总结 调小每次查询的数据量。 通过修改数据库配置调大Oracle的RBS。 父主题： 数据集成
mysqllink 数据库服务器 MySQL数据库的IP地址或域名。 - 端口 MySQL数据库的端口。 3306 数据库名称 MySQL数据库的名称。 sqoop 用户名 拥有MySQL数据库的读、写和删除权限的用户。 admin 密码 用户的密码。 - 使用本地API 使用数据库本地AP
关联的SQL脚本如果使用了参数，此处显示参数名称，请在参数名称后的输入框配置参数值。参数值支持使用EL表达式。 若关联的SQL脚本，脚本参数发生变化，可单击刷新按钮同步。 数据连接 是 默认选择SQL脚本中设置的数据连接，支持修改。 数据库 是 默认选择SQL脚本中设置的数据库，支持修改。 运行程序参数 否 为本次执
更新表的异常数据输出配置 功能介绍 更新表的异常数据输出配置，包括是否生成异常数据、设置异常数据数据库或Schema、设置异常表表前缀/表后缀。 调用方法 请参见如何调用API。 URI PUT /v2/{project_id}/design/{table_id}/qualities
该参数支持配置为时间宏变量，且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合，可以实现定期同步新增数据，详细说明请参见使用时间宏变量完成增量同步。 说明： 如果配置了时间宏变量，通过DataArts Studio数据开发调度CDM迁移作业时，系统会将时间宏变量替换为“数据开
对象存储：对象存储服务（OBS） NoSQL：表格存储服务（CloudTable） 关系型数据库：云数据库 MySQL，云数据库 PostgreSQL，云数据库 SQL Server 搜索：Elasticsearch，云搜索服务（CSS） 云数据库 MySQL不支持SSL模式。 Microsoft SQL S
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
