检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Method Python Method API Database 创建数据库 createDatabase create_database POST /v1.0/{project_id}/databases 删除数据库 deleteDatabase delete_database DELETE
--+------------------+-------------------------+ ANTI 反窗口连接(Anti Window Join)是内窗口连接(Inner Window Join)的相反操作:它包含了每个公共窗口内所有未关联上的行。 Flink SQL> SELECT
执行SQL查询语句报错:DLI.0003: Permission denied for resource.... 已经给表授权,但是提示无法查询怎么办? 表继承数据库权限后,对表重复赋予已继承的权限会报错吗? 为什么已有View视图的select权限,但是查询不了View? 提交作业时提示作业桶权限不足怎么办?
单击“确定”,完成创建程序包。 图11 创建程序包 创建DLI的UDTF函数。 登录DLI管理控制台,单击“SQL编辑器”,执行引擎选择“spark”,选择已创建的SQL队列和数据库。 图12 选择队列和数据库 在SQL编辑区域输入实际上传Jar包的路径创建UDTF函数,单击“执行”提交创建。
10 11 12 13 14 15 16 17 18 19 20 21 22 //实例化importJob对象,构造函数的入参包括队列、数据库名、表名(通过实例化Table对象获取)和数据路径 private static void importData(Queue queue,
表2 query参数 参数名称 是否必选 参数类型 说明 limit 否 String 查询最大连接个数,默认为100。 offset 否 String 查询结果偏移量,默认为0(连接以创建时间进行排序)。 auth_info_name 是 String 认证信息名,同一个project下唯一。
章节。 该场景作业需要运行在DLI的独享队列上,因此要与云搜索服务建立增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则,请参见《虚拟私有云用户指南》中“安全组”章节。 语法格式
将1下载的消费明细数据上传到已建好的OBS桶中。 在数据湖探索服务中创建表。 登录DLI控制台,左侧导航栏单击“SQL编辑器”,执行引擎选择“spark”,选择执行的队列和数据库。本次演示队列和数据库选择“default”。 下载的文件中包含时间用量等,按表头意义在DLI上创建表
章节。 该场景作业需要运行在DLI的独享队列上,因此要与云搜索服务建立增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则,请参见《虚拟私有云用户指南》中“安全组”章节。 语法格式
处理接收器。Streaming sink 前提条件 该场景作业需要建立增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则,请参见《虚拟私有云用户指南》中“安全组”章节。 注意事项
column_name view的格式为:databases.db_name.tables.view_name 示例 显示用户user_name1在数据库db1上的权限。 1 SHOW GRANT USER user_name1 ON databases.db1; 父主题: 数据权限相关
数据源。 本节操作介绍配置DLI读写外部数据源数据操作流程。 配置DLI与数据源网络连通:您可以参考配置DLI与数据源网络连通(增强型跨源连接)配置DLI与数据源的网络连通。 管理DLI具数据源的访问凭证: Spark 3.3.1及以上版本、Flink 1.15及以上版本的跨源访问场景
INSERT/UPDATE/DELETE 消息到 Flink SQL 系统中。在很多情况下,利用这个特性非常有用,例如 将增量数据从数据库同步到其他系统 日志审计 数据库的实时物化视图 关联维度数据库的变更历史,等等 Flink 还支持将 Flink SQL 中的 INSERT/UPDATE/DELETE
column_name view的格式为:databases.db_name.tables.view_name 示例 显示用户user_name1在数据库db1上的权限。 1 SHOW GRANT USER user_name1 ON databases.db1; 父主题: 数据权限管理
参数名称 是否必选 参数类型 说明 sql 是 String 待执行的SQL语句。 currentdb 否 String SQL语句执行所在的数据库。 说明: 在SQL里面已经包含db_name的情况下可以不选该参数,例如SQL为:select * from db1.t1。 SQL里面
是否必选 参数类型 说明 sql 是 String 待执行的SQL语句。 currentdb 否 String SQL语句执行所在的数据库。当创建新数据库时,不需要提供此参数。 conf 否 Array of objects 用户定义适用于此作业的配置参数。目前支持的配置项: dli
Hbase HBase连接器支持读取和写入HBase集群。本文档介绍如何使用HBase连接器基于HBase进行SQL查询。 HBase连接器在upsert模式下运行,可以使用 DDL 中定义的主键与外部系统交换更新操作消息。但是主键只能基于HBase的rowkey字段定义。如果没
确保已创建kafka集群。 该场景作业需要运行在DLI的独享队列上,因此要与Kafka集群建立增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则,请参见《虚拟私有云用户指南》中“安全组”章节。 Fli
如果任一参数为NULL时,则跳过该参数。 CONCAT_WS VARCHAR 将每个参数值和第一个参数separator指定的分隔符依次连接到一起组成新的字符串,长度和类型取决于输入值。 HASH_CODE INT 返回字符串的HASH_CODE()的绝对值。参数除string
Redis、DDS等,需要先创建跨源连接,打通作业运行队列到外部数据源之间的网络。 当前Flink作业支持访问的外部数据源详情请参考DLI常用跨源分析开发方式。 创建跨源连接操作请参见配置DLI与数据源网络连通(增强型跨源连接)。 创建完跨源连接后,可以通过“资源管理 > 队列管理