检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
split_part split_part函数用于依照分隔符separator拆分字符串str,返回从start部分到end部分的子串(闭区间)。 命令格式 split_part(string <str>, string <separator>, bigint <start>[, bigint
窗口函数的使用限制如下: 窗口函数只能出现在select语句中。 窗口函数中不能嵌套使用窗口函数和聚合函数。 窗口函数不能和同级别的聚合函数一起使用。 命令格式 last_value(<expr>[, <ignore_nulls>]) over ([partition_clause] [orderby_clause]
earch 从MySQL CDC源表读取数据写入到DWS 从PostgreSQL CDC源表读取数据写入到DWS Flink作业高可靠推荐配置指导(异常自动重启) 父主题: Flink作业开发指南
tion作业CPU与内存的比例按照1:4~1:8配置,保证Compaction作业稳定运行。当Compaction出现OOM问题,可以通过调大内存占比解决。 建议 通过增加并发数提升Compaction性能。 CPU和内存比例配置合理会保证Compaction作业是稳定的,实现单个Compaction
设置SQL作业优先级 在“ 设置 > 参数配置”中配置如下参数,其中x为优先级取值。 spark.sql.dli.job.priority=x 登录DLI管理控制台。 单击“作业管理 > SQL作业”。 选择待配置的作业,单击操作列下的编辑。 在“ 设置 > 参数配置”中配置spark.sql.dli
所要删除分区的表必须是已经存在的表,否则会出错。 所要删除的分区必须是已经存在的,否则会出错,可通过语句中添加“IF EXISTS”避免该错误。 语法格式 1 2 3 ALTER TABLE [db_name.]table_name DROP [IF EXISTS] PARTITION
作用范围:选择“项目级服务”。 策略配置方式:选择“可视化视图”。 策略内容:依次选择“允许”,“数据湖探索”,“dli:jobs:list_all”。 单击“确认”,创建策略。 图3 创建策略 在“用户组”页面,找到需要授权的用户所属的用户组,单击用户组名称,进入用户组“权限管理”页面,单击“配置权限”。
parse_url('http://facebook.com/path1/p.php?k1=v1&k2=v2#Ref1', 'QUERY', 'k1') 返回'v1'。 命令格式 parse_url(string urlString, string partToExtract [, string keyToExtract])
Opensource SQL作业优先级 登录DLI管理控制台。 单击“作业管理 > Flink作业”。 选择要待配置的作业,单击操作列下的编辑。 单击“自定义配置”。 在“自定义配置”中输入如下语句,先开启动态扩缩容功能,再设置作业优先级。 对于Flink作业,必须先设置flink.dli
、PaaS和SaaS类云服务内部的安全以及对租户定制配置进行安全有效的管理,包括但不限于虚拟网络、虚拟主机和访客虚拟机的操作系统,虚拟防火墙、API网关和高级安全服务,各项云服务,租户数据,以及身份账号和密钥管理等方面的安全配置。 《华为云安全白皮书》详细介绍华为云安全性的构建思
标签”,显示当前程序包组或程序包的标签信息。 单击“添加/编辑标签”,弹出“添加/编辑标签”对话框。 在“添加/编辑标签”对话框中配置标签参数。 表1 标签配置参数 参数 参数说明 标签键 您可以选择: 在输入框的下拉列表中选择预定义标签键。 如果添加预定义标签,用户需要预先在标签管理
最后修改时间 作业运行完成的时间。 操作 编辑:可修改当前作业配置,重新执行作业。 SparkUI:单击后,将跳转至Spark任务运行情况界面。 说明: 状态为“启动中”的作业不能查看SparkUI界面。 目前DLI配置SparkUI只展示最新的100条作业信息。 终止作业:终止启动中和运行中的作业。
Flink作业性能调优类 Flink作业推荐配置指导 Flink作业性能调优 Flink作业重启后,如何保证不丢失数据? Flink作业运行异常,如何定位 Flink作业重启后,如何判断是否可以从checkpoint恢复 DLI Flink作业提交运行后(已选择保存作业日志到OB
ency中。需要您创建自定义委托,并将委托配置在作业中(使用Flink 1.15和Spark 3.3及以上版本的引擎执行作业时需要配置)。 了解dli_management_agency请参考DLI委托概述。 创建自定义委托并在作业中配置委托的操作步骤请参考自定义DLI委托权限。
FileSystem 参数说明 表1 参数说明 参数 是否必选 默认值 类型 说明 format 是 (none) String 指定要使用的格式,这里应该是 'csv'。 csv.field-delimiter 否 , String 字段分隔符 (默认','),必须为单字符。您可以使用反斜杠字符指定一些特殊字符,例如
单击“操作”列下的“更多 > 续费”。 选择续费时长,判断是否勾选“统一到期日”,将到期时间统一到各个月的某一天(详细介绍请参见统一包年/包月资源的到期日)。确认配置费用后单击“去支付”。 图1 续费确认 进入支付页面,选择支付方式,确认付款,支付订单后即可完成续费。 在费用中心续费 登录管理控制台。
准备工作 配置DLI云服务委托权限 创建IAM用户并授权使用DLI 配置DLI作业桶
使用AOM监控DLI服务 配置DLI对接AOM Prometheus监控 DLI对接AOM Prometheus监控的配置项 DLI支持的Prometheus基础监控指标
order01 INCLUDING PROPERTIES; 创建表orders_like02,它将包含表order02定义的列,并将表的存储格式设置为‘TEXTFILE’ CREATE TABLE orders_like02 like order02 STORED AS TEXTFILE;
窗口函数的使用限制如下: 窗口函数只能出现在select语句中。 窗口函数中不能嵌套使用窗口函数和聚合函数。 窗口函数不能和同级别的聚合函数一起使用。 命令格式 lead(<expr>[, bigint <offset>[, <default>]]) over([partition_clause]