检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
15”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。 认证用的username和password等硬编码到代码中或者明文存储都有很大的安全风险,建议使用DEW管理凭证。配置文件或者环境变量中密文存放,使用时解密,确保安全。Flink Opensource SQL使用DEW管理访问凭据
删除分区 功能描述 本节操作介绍删除分区表的一个或多个分区。 分区表分为两种,OBS表和DLI表。在删除分区时,DLI表和OBS表都支持利用指定条件删除分区表的一个或多个分区。OBS表还支持按指定筛选条件删除分区。 注意事项 所要删除分区的表必须是已经存在的表,否则会出错。 所要
列表,如 'topic-1;topic-2'。 对 source 表而言,'topic' 和 'topic-pattern' 两个选项只能使用其中一个。 当表被用作 sink 时,该配置表示写入的 topic 名。注意 sink 表不支持 topic 列表。 topic-pattern
、区域项目和全局服务资源。 全局服务资源:全局服务部署时不区分区域,访问全局级服务,不需要切换区域,全局服务不支持基于区域项目授权。如对象存储服务(OBS)、内容分发网络(CDN)等。授权后,用户根据权限使用全局服务的资源。 指定区域项目资源:授权后,IAM用户根据权限使用所选区
chema-syntax为array-scores时,除主键字段外,只能有两个非主键字段,且这两个字段的类型需要为array。 两个字段其中第一个字段类型是array,表示Redis的set中的值;第二个字段类型为array<double>,表示相应索引的score。其示例如下:
conf文件。 创建MRS HBase表 创建DLI表关联MRS HBase表之前确保HBase的表是存在的。以样例代码为例,具体的流程是: 远程登录ECS,通过hbase shell命令查看表信息。其中,“hbtest”是要查询的表名。 describe 'hbtest' (可选)如果不存在
<col3>) as (<key1>,<key2>,...,<col1>, <col2>) 参数的数据类型 将一行数据转为多行的UDTF,将列中存储的以固定分隔符格式分隔的数组转为多行。 trunc_numeric trunc_numeric(<number>[, bigint<decimal_places>])
时间和日期类型 限制 时间和日期类型目前精确到毫秒。 表1 时间和日期类型 名称 描述 存储空间 DATE 日期和时间。仅支持ISO 8601格式:'2020-01-01' 32位 TIME 不带时区的时间(时、分、秒、毫秒) 例如:TIME '01:02:03.456' 64位
Apache Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统,具有高吞吐量、内置分区、支持数据副本和容错的特性,适合在大规模消息处理场景中使用。 作为 source,upsert-kafka 连接器生产changelog流,其中每条数据记录代表一个更新或删除事件。更准确地说,数据记录中的
户的安全责任在于对使用的IaaS、PaaS和SaaS类云服务内部的安全以及对租户定制配置进行安全有效的管理,包括但不限于虚拟网络、虚拟主机和访客虚拟机的操作系统,虚拟防火墙、API网关和高级安全服务,各项云服务,租户数据,以及身份账号和密钥管理等方面的安全配置。 《华为云安全白皮
15”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。 认证用的username和password等硬编码到代码中或者明文存储都有很大的安全风险,建议使用DEW管理凭证。配置文件或者环境变量中密文存放,使用时解密,确保安全。Flink Opensource SQL使用DEW管理访问凭据
新建Project 选择Maven,Project SDK选择1.8,单击“Next”。 图3 配置Project SDK 定义样例工程名和配置样例工程存储路径,单击“Create",下一步单击弹窗中的“Finish”完成工程创建。 图4 完成Project创建 在pom.xml文件中添加如下配置。
新建Project 选择Maven,Project SDK选择1.8,单击“Next”。 图3 选择Maven 定义样例工程名和配置样例工程存储路径,单击“Finish”完成工程创建。 图4 创建工程 在pom.xml文件中添加如下配置。 <dependencies>
Canal Format 功能描述 Canal是一个 CDC(ChangeLog Data Capture,变更日志数据捕获)工具,可以实时地将 MySQL 变更传输到其他系统。Canal 为变更日志提供了统一的数据格式,并支持使用 JSON 或 protobuf序列化消息(Canal
浮点型 名称 描述 存储空间 取值范围 字面量 REAL 实数 32位 1.40129846432481707e-45 ~3.40282346638528860e+38,正或负 REAL DOUBLE 双精度浮点数,15到17个有效位,具体取决于使用场景,有效位位数并不取决于小数点位置
自定义函数 概述 DLI支持三种自定义函数: UDF:自定义函数,支持一个或多个输入参数,返回一个结果值。 UDTF:自定义表值函数,支持一个或多个输入参数,可返回多行多列。 UDAF:自定义聚合函数,将多条记录聚合成一个值。 暂不支持通过python写UDF、UDTF、UDAF自定义函数。
使用SELECT查询结果创建新视图。视图是一个逻辑表,可以被将来的查询所引用,视图中没有数据。该视图对应的查询在每次被其他查询引用该视图时都会被执行。 如果视图已经存在,则可选ORREPLACE子句将导致视图被替换,而不会报错。 示例 通过表orders创建一个视图test: CREATE VIEW
自定义函数 概述 DLI支持三种自定义函数: UDF:自定义函数,支持一个或多个输入参数,返回一个结果值。 UDTF:自定义表值函数,支持一个或多个输入参数,可返回多行多列。 UDAF:自定义聚合函数,将多条记录聚合成一个值。 暂不支持通过python写UDF、UDTF、UDAF自定义函数。
ROW 类型的列,剩下的原子数据类型字段(比如,STRING, BIGINT)将被识别为 HBase 的 rowkey,一张表中只能声明一个 rowkey。rowkey 字段的名字可以是任意的,如果是保留关键字,需要用反引号。 语法格式 create table hbaseSource
sourcePath, String destinationPath) throws IOException { // 从远程存储复制文件到本地的操作 byte[] fileContent = Files.readAllBytes(Paths.get(sourcePath));