检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Redis维表 功能描述 创建Redis表作为维表用于与输入流连接,从而生成相应的宽表。 前提条件 要建立增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则,请参见《虚拟私有云用户指南
Maxwell Format 功能描述 Flink 支持将 Maxwell JSON 消息解释为 INSERT/UPDATE/DELETE 消息到 Flink SQL 系统中。在许多情况下,这对于利用此功能很有用。 例如: 将数据库中的增量数据同步到其他系统 审计日志 数据库的实时物化视图
instr instr函数用于返回substr在str中最早出现的下标。 当参数中出现NULL时,返回NULL,当str中不存在substr时返回0,注意下标从1开始。 相似函数:instr1,instr1函数用于计算子串str2在字符串str1中的位置,instr1函数支持指定起始搜索位置和匹配次数
BI工具连接DLI方案概述 BI工具是数据分析的强大助手,提供数据可视化、报表生成和仪表板创建等功能。 DLI服务通过对数据的融合分析处理,可以为BI工具提供标准的、有效的高质量数据,供给后续的数据统计分析使用。 通过连接到DLI,BI工具可以更加灵活的使用DLI访问和分析数据,帮助企业快速做出基于数据的决策
修改表分区位置(只支持OBS表) 功能描述 修改表分区的位置。 语法格式 1 2 3 ALTER TABLE table_name PARTITION partition_specs SET LOCATION obs_path; 关键字 PARTITION:分区。 LOCATION
自定义函数参数传递 操作场景 如果您的自定义函数需要在多个作业中使用,但对于不同作业某些参数值不同,直接在UDF中修改较为复杂。您可以在Flink OpenSource SQL编辑页面,自定义配置中配置参数pipeline.global-job-parameters,在UDF代码中获取该参数并使用
使用Temporal join关联维表的最新版本 功能描述 对于Hive表,我们可以将其作为有界流读出。在这种情况下,Hive表只能在查询时跟踪其最新版本。最新版本的表保留了Hive表的所有数据。 注意事项 每个连接子任务都需要保留自己的Hive表缓存。请确保Hive表可以放入TM
自定义函数参数传递 操作场景 如果您的自定义函数需要在多个作业中使用,但对于不同作业某些参数值不同,直接在UDF中修改较为复杂。您可以在Flink OpenSource SQL编辑页面,自定义配置中配置参数pipeline.global-job-parameters,在UDF代码中获取该参数并使用
二进制函数和运算符 二进制运算符 || 运算符执行连接。 二进制函数 length(binary) → bigint 返回binary的字节长度。 select length(x'00141f');-- 3 concat(binary1, ..., binaryN) → varbinary
Redis维表 功能描述 创建Redis表作为维表用于与输入流连接,从而生成相应的宽表。 前提条件 要建立增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则,请参见《虚拟私有云用户指南
regexp_extract REGEXP_EXTRACT函数用于将字符串source按照pattern的分组规则进行字符串匹配,返回第groupid个组匹配到的字符串内容。 命令格式 regexp_extract(string <source>, string <pattern>
MRS配置 DLI跨源连接中配置MRS主机信息 在DLI管理控制台上已完成创建跨源连接。具体操作请参考《数据湖探索用户指南》。 对接MRS HBase需要在DLI队列的host文件中添加MRS集群节点的/etc/hosts信息。 详细操作请参考《数据湖探索用户指南》中的“修改主机信息
Hash函数 函数说明 表1 Hash函数说明 Hash函数 函数说明 MD5(string) 返回以32个十六进制数所表示的字符串的MD5哈希值 若字符串是null,则返回null SHA1(string) 返回以40个十六进制所表示的字符串的SHA-1哈希值 若字符串是null
SHOW TABLE/PARTITION EXTENDED 语法 SHOW TABLE EXTENDED [IN | FROM schema_name] LIKE 'identifier_with_wildcards' [PARTITION (partition_spec)] 描述
增强型跨源连接类 增强型跨源连接绑定队列失败怎么办? DLI增强型跨源连接DWS失败怎么办? 创建跨源成功但测试网络连通性失败怎么办? 怎样配置DLI队列与数据源的网络连通? 为什么DLI增强型跨源连接要创建对等连接? DLI创建跨源连接,绑定队列一直在创建中怎么办? 新建跨源连接
查看弹性资源池扩缩容历史 操作场景 当弹性资源池添加队列、删除队列,或添加的队列扩缩容时,可能会引起弹性资源CUs扩缩容变化。控制台提供的“扩缩容历史”功能,可以查看弹性资源池的CUs变化历史。 约束与限制 当前控制台仅支持查看30天以内的弹性资源池扩缩容历史。 查看弹性资源池扩缩容历史
CREATE TABLE 语法 ① CREATE TABLE [ IF NOT EXISTS ] [catalog_name.][db_name.]table_name ( { column_name data_type [ NOT NULL ] [ COMMENT col_comment
DWS维表 功能描述 创建DWS表用于与输入流连接,从而生成相应的宽表。 前提条件 请务必确保您的账户下已在数据仓库服务(DWS)里创建了DWS集群。如何创建DWS集群,请参考《数据仓库服务管理指南》中“创建集群”章节。 请确保已创建DWS数据库表。 该场景作业需要运行在DLI的独享队列上
Hash函数 函数说明 表1 Hash函数说明 Hash函数 函数说明 MD5(string) 返回以32个十六进制数所表示的字符串的MD5哈希值 若字符串是null,则返回null SHA1(string) 返回以40个十六进制所表示的字符串的SHA-1哈希值 若字符串是null
Hash函数 表1 Hash函数 Hash函数 函数说明 MD5(string) 以 32 个十六进制数字的字符串形式返回 string 的 MD5 哈希值;如果字符串为 NULL,则返回 NULL。 SHA1(string) 以 40 个十六进制数字的字符串形式返回 string