检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
info); 其中,JDBC的配置项通过url传入,请参考表2配置参数。JDBC配置对象,除了在url中以分号间隔设置配置项外,还可以通过Info对象动态设置属性项,具体属性项参见表3。 表2 数据库连接参数 参数 描述 url url的格式如下。 jdbc:dli://<endPoint>/projectId
个字符的条形。 bar(x, width, low_color, high_color) 描述:在ANSI条形图中以指定宽度绘制一条直线。参数x是0到1之间的一个双精度值。x的值超出[0,1]范围将被截断为0或1值。low_color和high_color捕获用于水平条形图任一端的颜色。例如,如果x为0
购买套餐包 登录DLI管理控制台。 选择“资源管理 > 队列管理”。 在队列管理页面,单击“购买套餐包”。 在“购买套餐包”页面设置相关参数。 表2 参数说明 参数名称 描述 区域 选择所在的区域。不同区域的云服务之间内网互不相通;请就近选择靠近您业务的区域,可减少网络时延,提高访问速度。
EXISTS] 如果目标数据库不存在,将抛出错误提示,但如果使用了IF EXISTS子句则不会抛出错误提示。 [RESTRICT|CASCADE] 可选参数RESTRICT|CASCADE用于指定删除的模式默认是RESTRICT模式,在这种模式下,数据库必须为空,不包含任何表才能删除,如果是C
在DLI管理控制台的左侧导航栏中,选择“SQL编辑器”。 单击“队列”切换到该页签,单击右侧的创建队列。 在“购买队列”页面,参见表1设置相关参数。 表1 参数说明 参数名称 描述 计费模式 包年/包月 该计费模式的队列为专属队列。 按需计费:建议购买cu时套餐包享受优惠。 区域 选择所在的区域
缩容定时任务”。 在“弹性扩缩容定时任务”页面,单击右上角的“创建定时任务”。 在“创建定时任务”页面,设置参数。单击“确定”。 图1 创建定时任务 表1 参数说明 参数名称 描述 任务名称 输入定时任务的名称。 只能包含数字、英文字母和下划线,但不能是纯数字,不能以下划线开头,且不能为空。
写需要授权的用户名或选择需要授权的项目,选择相应的权限。具体权限说明请参考表1。 图1 数据库用户授权 图2 数据库项目授权 表1 参数说明 参数 描述 授权对象 选择“用户授权”或“项目授权”。 用户名或项目名 选择“用户授权”时,输入数据库新增用户对应的IAM用户名称。 说明:
codec的默认值被设置为zstd,Spark在压缩事件日志时将不再支持使用spark.io.compression.codec的参数值。 Spark2.4.x:使用spark.io.compression.codec的参数值作为eventlog的压缩格式。 Spark3.3.x:spark.eventLog.compression
off (3 rows) COALESCE coalesce(value[, ...]) 返回参数列表中的第一个非空value。与CASE表达式相似,仅在必要时计算参数。 可类比MySQL的nvl功能,经常用于转空值为0或者' '(空字符)。 select coalesce(a
比较运算符 所有标准比较运算符和BETWEEN运算符都适用于DECIMAL类型。 一元decimal运算符 运算符“-”执行取负运算,结果的类型与参数的类型相同。 父主题: SQL函数和操作符
查询Flink作业日志 操作场景 DLI作业桶用于存储DLI作业运行过程中产生的临时数据,例如:作业日志、作业结果。 本节操作指导您在DLI管理控制台配置DLI作业桶,并查看Flink作业日志的操作方法。 使用须知 请勿将该DLI作业桶绑定的OBS桶用作其它用途,避免出现作业结果混乱等问题。
查询Spark作业日志 操作场景 DLI作业桶用于存储DLI作业运行过程中产生的临时数据,例如:作业日志、作业结果。 本节操作指导您在DLI管理控制台配置DLI作业桶,并获取Spark作业日志的操作方法。 使用须知 请勿将该DLI作业桶绑定的OBS桶用作其它用途,避免出现作业结果混乱等问题。
配置DLI作业桶 使用DLI服务前需配置DLI作业桶,该桶用于存储DLI作业运行过程中产生的临时数据,例如:作业日志、作业结果。 本节操作指导您在DLI管理控制台的“全局配置 > 工程配置”页面配置DLI作业桶。 操作前准备 配置前,请先购买OBS桶或并行文件系统。 大数据场景推
查询SQL作业日志 操作场景 DLI作业桶用于存储DLI作业运行过程中产生的临时数据,例如:作业日志、作业结果。 本节操作指导您在DLI管理控制台配置DLI作业桶,并获取SQL作业日志的操作方法。 使用须知 请勿将该DLI作业桶绑定的OBS桶用作其它用途,避免出现作业结果混乱等问题。
而实现最小化提交,避免依赖包与flink内核中依赖包冲突: 仅Flink 1.15版本支持Flink Jar作业最小化提交,通过在运行优化参数中配置flink.dli.job.jar.minimize-submission.enabled=true可以开启最小化提交。 Flink
LOG(A, B) 所有数字类型 当只有一个参数,返回B的自然对数(基数e)。 当有两个参数,返回B以A为基数的对数。 B必须大于0,且A必须大于1。 EXP(A) 所有数字类型 返回e的a次方。 CEIL(A) CEILING(A) 所有数字类型 将参数向上舍入为最接近的整数。例如ceil(21
DLI常用跨源分析开发方式 跨源分析 当DLI有访问外部数据源的业务需求时,首先需要通过建立增强型跨源连接,打通DLI与数据源之间的网络,再开发不同的作业访问数据源以实现DLI跨源分析。 本节操作介绍DLI支持的数据源对应的开发方式。 使用须知 Flink作业访问DIS,OBS和
上述方案落地的具体步骤参考如下: Flink只负责写数据和生成Compaction计划 Flink流任务建表语句/SQL hints中添加如下参数,控制Flink任务写Hudi时只会生成Compaction plan。 'compaction.async.enabled' = 'false'
String schemaPattern,String tableNamePattern, String types[]) 该方法不采纳Catalog参数,schemaPattern对应DLI服务的database的概念。 ResultSet getTableTypes() ResultSet
行作业所需的计算资源。 在DLI管理控制台,单击“作业管理 > Flink作业”。 在作业管理页面,单击作业操作列的“编辑”,进入作业运行参数编辑页面。 配置Flink版本,选择最新的Flink版本,推荐使用Flink 1.15。 Flink 1.15版本语法请参考Flink OpenSource