检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
表1 常用的EL表达式 方法 描述 示例 String getNodeStatus(String nodeName) 获取指定节点运行状态,成功状态返回success,失败状态返回fail。
Email掩码 掩码Email信息。 不支持。 移动设备标识掩码 对设备码进行掩码,支持IMEI、MEDI、ESN。 支持配置类型。 IPv6掩码 掩码IPv6地址。 不支持。 IPv4掩码 掩码IPv4地址。 不支持。 MAC地址掩码 掩码MAC地址。 不支持。
906f-a8655461897e.apigw.cn-north-1.huaweicloud.com/app1"); request.addQueryStringParam("name", "value"); request.addHeader("Content-Type", "text/plain
impala1@F5840AB1_7495_448E_BC63_A8D2B0E2EE69.COM'], stdin=PIPE, stdout=PIPE, stderr=PIPE) #kinit.stdin.write('Admin@123$#\n'.encode()) #kinit.wait
表4 注意事项 类型名称 使用和操作限制 数据库限制 支持开启SASL_PLAINTEXT的Kafka实例,包括SCRAM-SHA-512及PLAIN认证机制。 不支持开启SASL_SSL的Kafka实例。 使用限制 通用: 实时同步过程中,不支持IP、端口、账号、密码修改。
Waiting(Dummy节点):不执行任何操作,作为等待前侧节点执行结束的标识。
当源端路径下存在启动作业的标识文件时才启动作业,否则会挂起等待一段时间,等待时长在下方“fromJobConfig.waitTime”(等待时间)参数中配置。 fromJobConfig.markerFile 否 String 启动作业的标识文件名。
__": # The AK and SK used for authentication are hard-coded or stored in plaintext, which has great security risks.
表2 方法说明 方法 描述 示例 String getNodeStatus(String nodeName) 获取指定节点运行状态,成功状态返回success,失败状态返回fail。
domain:非全局级别。 用户自定义字段 该配置项是在DataArts Studio数据架构的“配置中心 > 标准模板管理”中添加的自定义项。您可以根据实际情况添加一个或多个自定义项,名称可以自己定义。有关添加自定义项的更多信息,请参见标准模板管理。 描述 描述信息。
说明: 如果OBS桶创建超过上限,系统会自动提示“创建obs目录失败,错误原因:[Create OBS Bucket failed:TooManyBuckets:You have attempted to create more buckets than allowed]”。
作业特性 否 作业使用的Spark镜像类型,当前支持基础型、AI增强型和自定义的Spark镜像。 自定义镜像需要选择自定义镜像名称和对应版本。仅当DLI队列为容器化队列类型时,出现本参数。 自定义镜像是DLI的特性。
随着大数据和AI的发展,数据湖中数据的价值逐渐水涨船高,价值被重新定义。数据湖能给企业带来多种能力,例如实现数据的集中式管理,帮助企业构建更多优化后的运营模型,也能为企业提供其他能力,如预测分析、推荐模型等,这些模型能刺激企业能力的后续增长。
要使Flink Checkpoin生效,需要配置两个运行参数: 用来控制checkpoint间隔 -yD:execution.checkpointing.interval=1000 用来控制保留的checkpoint数量 -yD:state.checkpoints.num-retained
要使Flink Checkpoin生效,需要配置两个运行参数: 用来控制checkpoint间隔 -yD:execution.checkpointing.interval=1000 用来控制保留的checkpoint数量 -yD:state.checkpoints.num-retained
clean.retain_commits int 30 次 要保留的commit数。
clean.retain_commits int 30 次 要保留的commit数。
clean.retain_commits int 30 次 要保留的commit数。
clean.retain_commits int 30 次 要保留的commit数。
Checkpoin生效,需要配置两个运行参数: 图1 配置运行程序参数 用来控制checkpoint间隔 -yD:execution.checkpointing.interval=1000 用来控制保留的checkpoint数量 -yD:state.checkpoints.num-retained