WITH...AS 功能描述 通过用WITH...AS定义公共表达式(CTE)来简化查询,提高可阅读性和易维护性。 语法格式 1 WITH cte_name AS (select_statement) sql_containing_cte_name; 关键字 cte_name:公共表达式的名字,不允许重名。
机发送消息通知,方便客户及时感知异常。 图4 作业异常告警 勾选“开启Checkpoint”,依据自身业务情况调整Checkpoint间隔和模式。Flink Checkpoint机制可以保证Flink任务突然失败时,能够从最近的Checkpoint进行状态恢复重启。 图5 checkpoint参数
一旦发现服务模块涉及漏洞影响,会迅速通过官方解决方案升级现网更新漏洞。 更新配置 DLI云服务通过版本更新升级更新配置,确保服务的安全性和稳定性。 父主题: 安全
某些类型(例如BYTES、ROW、ARRAY和MAP等)由于没有对应的字符串表示形式,所以不允许其作为主键字段。如果未指定主键,Elasticsearch将自动生成随机的文档ID。 Elasticsearch结果表同时支持静态索引和动态索引。 如果使用静态索引,则索引选项值应为
建议 Archive作业每天至少执行一次,可以2~4小时执行一次。 Hudi的MOR表和COW表都需要保证每天至少1次Archive,MOR表的Archive可以参考2.2.1.6小节和Compaction放在一起异步去执行。COW的Archive可以在写数据时自动判断是否执行。
如果只设定扩容或者缩容,只需创建一个弹性扩缩容定时任务。设定“任务名称”、“最终CUs”和“执行时间”即可,具体请参考表1。 如果需要同时设定扩容和缩容,则需要创建两个弹性扩缩容定时任务,分别设定扩容和缩容的“任务名称”、“最终CUs”和“执行时间”,具体请参考表1。 操作步骤如下: 在DLI管理控制台左侧,选择“资源管理
lect 1”。 弹出隐私协议后,勾选“同意以上隐私协议”,单击“确定”。 该隐私协议只需要在第一次执行时同意即可,后续再次运行不再会弹出和确认。 重新在DataArts Studio上运行DLI SQL脚本,脚本运行正常。 父主题: SQL作业运维类
保留当前最新版本 clean作业每天至少执行一次,可以2~4小时执行一次。 Hudi的MOR表和COW表都需要保证每天至少1次Clean,MOR表的Clean可以参考2.2.1.6小节和Compaction放在一起异步去执行。COW的Clean可以在写数据时自动判断是否执行。 父主题:
创建非弹性资源池队列(废弃,不推荐使用) 非弹性资源池模式的队列是DLI的上一代计算资源管理方式,按使用需求购买和释放资源,需要预先估计资源使用需求再进行购买。 优先推荐使用弹性资源池队列,提高资源使用的灵活性和资源利用效率。购买弹性资源池并在弹性资源池中添加队列请参考创建弹性资源池并添加队列。 用户
CU数量=实际CU数量=max[管理单元和TaskManager的CPU总和,(管理单元和TaskManager的内存总和/4)] 管理单元和TaskManager的CPU总和=实际TM数 * 单TM所占CU数 + 管理单元。 管理单元和TaskManager的内存总和= 实际TM数
生命周期只能在表级别设置,不能在分区级设置。为分区表指定的生命周期,适用于该表所有的分区。 生命周期设置后,DLI表和OBS表支持数据备份,OBS表的备份目录需要手工设置。且备份目录应选择在并行文件系统上,备份目录必须和原表目录在同一个桶上,备份目录不能与原表相同目录或者子目录同名。 语法格式 DataSource语法创建DLI表
次。 已处理的文件在 source 的整个生命周期内存储在 state 中,因此,source 的 state 在 checkpoint 和 savepoint 时进行保存。 更短的时间间隔意味着文件被更快地发现,但也意味着更频繁地遍历文件系统/对象存储。 如果未设置此配置选项,
(可选)配置Notebook访问LakeFormation元数据 在JupyterLab中编写和调试代码。 进入JupyterLab主页后,可在“Notebook”区域下编辑和调试代码。步骤8:使用Notebook实例编写和调试代码。 约束限制 使用Notebook实例提交DLI作业必须使用弹性资源池下的通用队列。
源状态变为“已冻结”。 超过宽限期仍未续费将进入保留期,如果保留期内仍未续费,资源将被自动删除。 华为云根据客户等级定义了不同客户的宽限期和保留期时长。 在DLI资源到期前均可开通自动续费,到期前7日凌晨3:00首次尝试自动续费,如果扣款失败,每天凌晨3:00尝试一次,直至DLI
max.commits = hoodie.keep.min.commits + 20 执行compaction后再执行clean和archive,由于clean和archivelog对资源要求较小,为避免资源浪费,使用DataArts调度的话可以compaction作为一个任务,cle
uDC00不被视为U + 10000,必须将其指定为\ x {10000}。 边界字符(\b)无法被正确处理,因为它一个不带基字符的非间距标记。 \Q和\E在字符类(如[A-Z123])中不受支持,而是作为文本处理。 支持Unicode字符类(\ p {prop}),但有以下差异: 名称中的
regexp_substr regexp_substr函数用于计算从start_position位置开始,source中第occurrence次匹配指定pattern的子串。 命令格式 regexp_substr(string <source>, string <pattern>[
表名必须满足Hive格式要求 表名必须以字母或下划线开头,不能以数字开头。 表名只能包含字母、数字、下划线。 表名长度不能超过128个字符。 表名中不能包含空格和特殊字符,如冒号、分号、斜杠等。 表名不区分大小写,但建议使用小写字母。 Hive保留关键字不能作为表名,如select、from、where等。
开启Kerberos认证时的相关配置文件 参考《从零开始使用Kerberos认证集群》中的“创建安全集群并登录其Manager”章节创建Kerberos认证集群。参考“创建角色和用户”章节添加用户并赋权。 参考《使用HBase客户端》使用1中创建的用户认证登录。“人机”用户第一次登录时需修改密码。 登录Manager界面,选择“系统
CU数量=实际CU数量=max[管理单元和TaskManager的CPU总和,(管理单元和TaskManager的内存总和/4)] 管理单元和TaskManager的CPU总和=实际TM数 * 单TM所占CU数 + 管理单元。 管理单元和TaskManager的内存总和= 实际TM数
您即将访问非华为云网站,请注意账号财产安全