检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
简易变量集提供了一系列自定义的变量，自定义参数会根据任务调度的业务日期、计划时间及参数的取值格式自动替换为具体的值，实现在任务调度时间内参数的动态替换。简易变量集的详细内容请参见简易变量集参考。 父主题： 使用教程
时间限定生成使用动态表达式：开关打开后，则使用动态时间表达式；如开关关闭，则默认使用原有的静态时间表达式。例如时间限定设置为最近30天：如果使用静态表达式，如果当前为9月，生成的最近30天的数据就是8月，即使当前到了10月，生成的数据还是8月，不能自动更新；如果使用动态表达式，当前到
对数据湖仓提供敏感数据发现识别、标注能力，根据敏感数据级别在数据分析场景、数据服务场景进行数据权限管控、动态脱敏防护。 敏感数据治理 隐私保护管理 在数据集成、数据开发、数据目录、数据服务场景下，隐私保护管理可以通过数据静态脱敏、动态脱敏等方式来防止敏感数据遭到有意或无意的误用、泄漏或盗窃，从而帮助企业采取合
是变量。例如“input_time”=“${timestamp()}”用来标识当前时间的时间戳。 表达式 您可以使用表达式语言根据运行环境动态生成参数值。表达式的语法：#{expr}，其中“expr”指的是表达式。例如“time”=“#{DateUtil.now()}”用来标识当前日期字符串。
是变量。例如“input_time”=“${timestamp()}”用来标识当前时间的时间戳。 表达式 您可以使用表达式语言根据运行环境动态生成参数值。表达式的语法：#{expr}，其中“expr”指的是表达式。例如“time”=“#{DateUtil.now()}”用来标识当前日期字符串。
是变量。例如“input_time”=“${timestamp()}”用来标识当前时间的时间戳。 表达式 您可以使用表达式语言根据运行环境动态生成参数值。表达式的语法：#{expr}，其中“expr”指的是表达式。例如“time”=“#{DateUtil.now()}”用来标识当前日期字符串。
enabled（启用AQE，使Spark能够根据正在处理的数据的特征动态优化查询的执行计划，可以通过减少需要处理的数据量来提高性能。） spark.sql.adaptive.join.enabled（启用AQE用于连接操作，可以通过根据正在处理的数据动态选择最佳连接算法来提高性能。） spark.sql
API支持定义变量，条件分支、并行处理和输出处理暂不支持。表达式标准写法为：${节点编码|变量名}，定义方法如表2所示。 节点编码：由系统动态分配，不可改动。您可以在API编排的画布中，单击节点后在节点详情中查看节点编码，并支持通过复制节点编码。 图1 查看节点编码 变量名：支持
验。 通过数据开发使用参数传递灵活调度CDM作业 如果CDM作业接收来自数据开发作业配置的参数，则在数据开发模块可以使用诸如EL表达式传递动态参数来调度CDM作业。 通过数据开发实现数据增量迁移 DataArts Studio服务的DLF组件提供了一站式的大数据协同开发平台，借助
计划、有主题的定期开展数据安全技能培训，夯实理论知识。另一方面，通过开展数据安全攻防对抗等实战演练，将以教学为主的静态培训转为以实践为主的动态培训，提高人员参与积极性，有助于理论向实践转化，切实提高人员数据安全技能。 父主题： 数据安全能力成熟度模型DSMM
eter}，支持if、choose、when、foreach和where等标签语法，您可以借助标签语法来灵活实现空值校验、多值遍历、动态查表、动态排序及聚合等复杂查询逻辑。 MyBatis方式当前在“华南-广州”区域公测，公测结束后会陆续在其他区域上线。 前提条件 已在“管理中心
将数据逻辑相关的存储与计算资源下沉到数据平台，降低应用侧的资源消耗。 减少大量明细、敏感数据在应用侧的暴露，同时通过API审核发布、鉴权流控、动态脱敏等手段，提升数据安全能力。 值得注意的是，数据服务是通过将数据逻辑封装成统一标准的Restful 风格API从而实现数据开放，适用于小
并在节点运行时调用。 表达式 数据开发作业中的节点参数可以使用表达式语言（Expression Language，简称EL），根据运行环境动态生成参数值。数据开发EL表达式使用简单的算术和逻辑计算，引用内嵌对象，包括作业对象和一些工具类对象。 环境变量 环境变量是在操作系统中一个
参数类型 描述 dw_name String 数据连接名称。 dw_type String 数据连接类型。 dw_config Object 连接动态变化配置项，每种连接略有区别，建议在界面进行调试。 agent_id String CDM集群ID，获取方法请参见查询集群列表。 agent_name
录下有子目录时，是否查询子目录的内容；默认不查询） dli.sql.dynamicPartitionOverwrite.enabled（在动态分区模式时，只会重写查询中的数据涉及的分区，未涉及的分区不删除） 队列名称 是 默认选择SQL脚本中设置的DLI队列，支持修改。 如需新建资源队列，请参考以下方法：
、SparkSQL等，可在console界面查看所有数据连接类型，编辑时通过数据连接列表获取。 dw_config 是 Object 连接动态变化配置项，每种连接略有区别，建议在界面进行调试。 agent_id 否 String CDM集群ID，获取方法请参见查询集群列表。 agent_name
、SparkSQL等，可在console界面查看所有数据连接类型，编辑时通过数据连接列表获取。 dw_config 是 Object 连接动态变化配置项，每种连接略有区别，建议在界面进行调试。 agent_id 否 String CDM集群ID，获取方法请参见查询集群列表。 agent_name
、SparkSQL等，可在console界面查看所有数据连接类型，编辑时通过数据连接列表获取。 dw_config 是 Object 连接动态变化配置项，每种连接略有区别，建议在界面进行调试。 agent_id 否 String CDM集群ID，获取方法请参见查询集群列表。 agent_name
Redis数据连接参数说明 表1 Redis数据连接 参数 是否必选 说明 数据连接类型 是 Redis连接固定选择为Redis。 数据连接名称 是 数据连接的名称，只能包含字母、数字、下划线和中划线，且长度不超过100个字符。 标签 否 标识数据连接的属性。设置标签后，便于统一管理。
Studio作业中的节点关联脚本或者其他服务的作业时，节点名称不会同步变化。 是否使用简易变量集 作业开发 简易变量集提供了一系列自定义的变量，实现在任务调度时间内参数的动态替换。 忽略失败的通知策略 运维调度 对于运行状态为忽略失败的作业，支持发送的通知类型。 节点超时是否重试 作业运行 作业节点运行超时导致的失败也会重试。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
