检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DCS输出流 功能描述 DLI将Flink作业的输出数据输出到分布式缓存服务(DCS)的Redis中。Redis是一种支持Key-Value等多种数据结构的存储系统。可用于缓存、事件发布或订阅、高速队列等场景,提供字符串、哈希、列表、队列、集合结构直接存取,基于内存,可持久化。
示例 将流kafka_sink的数据输出到Kafka中。
命令格式 stddev_samp(col) 参数说明 表1 参数说明 参数 是否必选 说明 col 是 数据类型为数值的列。其他类型返回NULL。 返回值说明 返回DOUBLE类型的值。 示例代码 计算所有商品库存(items)的样本偏差。
解决方案 需要给执行作业的用户赋程序包的操作权限,具体操作参考如下: 在DLI管理控制台左侧,单击“数据管理 > 程序包管理”。 在“程序包管理”页面,单击程序包“操作”列中的“权限管理”,进入“用户权限信息”页面。
创建SQL作业的API执行超过时间限制,运行超时报错 问题现象 DLI上调用“提交SQL作业”API运行超时,报如下错误信息: There are currently no resources tracked in the state, so there is nothing to
如何查看DLI Spark作业的实际资源使用情况 查看Spark作业原始资源配置 登录DLI 控制台,单击左侧“作业管理”>“Spark作业”,在作业列表中找到需要查看的Spark作业,单击“作业ID”前的,即可查看对应Spark作业的原始资源配置参数。 在创建Spark作业时,配置了
创建输入流 CloudTable HBase输入流 DIS输入流 DMS输入流 MRS Kafka输入流 开源Kafka输入流 OBS输入流 父主题: Flink SQL语法参考(不再演进,推荐使用Flink OpenSource SQL)
创建输出流 CloudTable HBase输出流 CloudTable OpenTSDB输出流 MRS OpenTSDB输出流 CSS Elasticsearch输出流 DCS输出流 DDS输出流 DIS输出流 DMS输出流 DWS输出流(通过JDBC方式) DWS输出流(通过OBS
tsdb_metrics 是 数据点的metric,支持参数化。 tsdb_timestamps 是 数据点的timestamp,数据类型支持LONG、INT、SHORT和STRING,仅支持指定动态列。
本示例使用系统预置的“default”队列和数据库进行演示,也可以在自建的队列和数据库下执行。 创建队列请参考创建队列。创建数据库请参考创建数据库。 后续指引 完成TPC-H样例模板开发并提交SQL作业操作后,如果您想了解更多关于SQL作业相关操作,建议您参考以下指引阅读。
登录RDS实例后,单击“新建数据库”,创建名称为“test2”的数据库。 在“test2”的数据库所在行,操作列,单击“SQL查询”,输入以下创建表语句,单击“执行SQL”创建表“tabletest2”。
查询redis数据时与“table”参数二选一。 key.column 非必填。用于指定schema中的某个字段作为Redis中key的标识。在插入数据时与参数“table”配合使用。 partitions.number 读取数据时,并发task数。
由于网络等原因,有时会导致乱序的产生;对于迟来的数据,需要Watermark来保证一个特定的时间后去触发Window进行计算。Watermark主要是用来处理乱序数据,流处理从事件产生,到发送到DLI服务,中间有一个过程。
TEMPORARY SYSTEM 创建一个没有数据库命名空间的临时系统 catalog function ,并覆盖系统内置的函数。 IF NOT EXISTS 如果该函数已经存在,则不会进行任何操作。
fetchsize 读取数据时,每一批次获取数据的记录数,默认值1000。设置越大性能越好,但占用内存越多,该值设置过大会有内存溢出的风险。 batchsize 写入数据时,每一批次写入数据的记录数,默认值1000。
在组合Rowkey的场景中 插入Rowkey数据时,如果某个属性的实际数据的长度比属性作为Rowkey时指定的长度要短,则会在数据后面补'\0'字符;如果某个属性的实际数据的长度比属性作为Rowkey时指定的长度要长,则会在实际插入HBase的时候进行截断。
为什么已有View视图的select权限,但是查询不了View? 问题描述 用户A创建了表Table1。 用户B基于Table1创建了视图View1。 赋予用户C Table1的查询表权限后,用户C查询View失败。 根因分析 用户C查询View失败的原因是由于用户B不具备Table1
值构建函数 函数说明 表1 值构建函数说明 值构建函数 函数说明 ROW(value1, [, value2]*) (value1, [, value2]*) 根据一系列值创建ROW ARRAY ‘[’ value1 [, value2 ]* ‘]’ 根据一系列值创建数组 MAP
表值函数 split_cursor string_split 父主题: 内置函数
属性访问函数 函数说明 表1 属性访问函数说明 值接入函数 函数说明 tableName.compositeType.field 选择单个字段,通过名称访问Apache Flink复合类型(如Tuple,POJO等)的字段并返回其值。 tableName.compositeType