检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
计费的起点以DLI表的创建时间点为准,终点以DLI表删除时间为准。 资源从创建到启动需要一定时长,按需计费的数据存储的起点是DLI表创建成功的时间点,而非创建的时间。您可以在“数据管理 > 库表管理”查看DLI表的创建成功的时间。 计费示例 价格仅供参考,实际计算请以数据湖探索价格详情中的价格为准。 假设您在2023/04/18
业编辑页面。 在“运行参数设置”页签,“UDF Jar”选择创建的程序包,单击“保存”。 选定JAR包以后,SQL里添加UDF声明语句,就可以像普通函数一样使用了。 1 CREATE FUNCTION udf_test AS 'com.huaweicompany.udf.UdfScalarFunction';
描述:使用replacement替换目标字符串中满足正则表达式的子串。如果replacement中包含'$'字符,使用'\$' 进行转义。在替换中,可以对编号组使用$g引用捕获组,对命名组使用${name}引用捕获组。 SELECT regexp_replace('1a 2b 14m','(\d+)([ab])
rows) nth_value(x, offset)→ [same as input] 描述:返回距窗口开头指定偏移量的值。偏移量从1开始。偏移量可以是任何标量表达式。如果偏移量为null或大于窗口中的值数,则返回null。偏移量不允许为0或者负数。 SELECT cookieid,createtime
建批处理作业》。 创建Spark作业完成后,在控制台单击右上角“执行”提交作业,页面显示“批处理作业提交成功”说明Spark作业提交成功,可以在Spark作业管理页面查看提交的作业的状态和日志。 创建Spark作业时选择的“所属队列”为创建跨源连接时所绑定的队列。 如果选择spark版本为2
store文件的路径,在初始化前将其引入properties中才能生效。 kafka source可以在open里引入。 图1 获取kafka source kafka sink可以在initializeState里引入。 图2 获取kafka sink 操作步骤 从Kafka实
按照存储在DLI服务中的数据存储量(单位为“GB”)收取存储费用。 适用于在DLI 存储表数据的场景,例如时延敏感类的业务将表存储在DLI,使用存储量套餐包可以节省存储费用。 存储套餐的额度每个小时会重置。 按订购周期重置:如重置周期为月,且按订购周期重置,即如果用户1月5日订购的套餐包,之后每个月5日同一时间重置免费资源。
multimap_from_entries(array(row(K, V))) -> map(K, array(V)) 描述:根据给定的row数组返回复合map,每个键可以对应多个值。 SELECT multimap_from_entries(ARRAY[(1, 'x'), (2, 'y'), (1, 'z')]);
计算二进制块的SHA 1哈希值。 sha2(string, integer) → string 安全散列算法2, 是一种密码散列函数算法标准,其输出长度可以取224位,256位, 384位、512位,分别对应SHA-224、SHA-256、SHA-384、SHA512 sha256(binary)
具体指标请参考《数据湖探索监控指标说明》。 与消息通知服务(SMN)的关系 消息通知服务(Simple Message Notification)可以在DLI发生作业运行异常时给用户发送通知。 具体操作请参考《创建消息通知主题》。 与表格存储服务(CloudTable)的关系 表格存储服务(CloudTable
"中同时指定了collection,则"url"中的collection不生效。 说明: 如果在DDS中已存在collection,则建表可以不指定schema信息,DLI会根据collection中的数据自动生成schema信息。 user 访问DDS集群用户名。 password
生中间结果,只在窗口结束产生一个最终的结果。另外,窗口关联会清除不需要的中间状态。通常,窗口关联和 窗口表值函数 一起使用。而且,窗口关联可以在其他基于 窗口表值函数 的操作后使用,例如 窗口聚合,窗口 Top-N 和 窗口关联。目前,窗口关联需要在 join on 条件中包含两个输入表的
写数据时刷新数据的最大行数,默认值为:5000。 connector.write.flush.interval 否 0 Duration 刷新数据的时间间隔,单位可以为ms、milli、millisecond/s、sec、second/min、minute等。 为0则表示不根据时间刷新 connector
》中“创建集群”章节。 请确保已创建DWS数据库表。 该场景作业需要运行在DLI的独享队列上,因此要与DWS集群建立增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则,请参见《虚拟私有云用户指南》中“安全组”章节。
createDataFrame() 方法创建的数据和read.format() 方法及read.jdbc() 方法查询的数据都为DataFrame对象,可以直接进行查询单条记录等操作(在“步骤4”中,提到将DataFrame数据注册为临时表)。 where where 方法中可传入包含and 和
写数据时刷新数据的最大行数,默认值为100。 sink.buffer-flush.interval 否 1s Duration 刷新数据的时间间隔,单位可以为ms、milli、millisecond/s、sec、second/min、minute等,默认值为1s。设置为0则表示不根据时间刷新。
IDEA等开发工具以及安装JDK和Maven。 Maven工程的pom.xml文件配置请参考JAVA样例代码(Flink 1.12)中“pom文件配置”说明。 确保本地编译环境可以正常访问公网。 约束与限制 需要在DLI控制台下“全局配置 > 服务授权”开启Tenant Adminstrator(全局服务)。 写入数