检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Top-N 功能描述 Top-N 查询是根据列排序找到N个最大或最小的值。最大值集和最小值集都被视为是一种 Top-N 的查询。如果在批处理或流处理的表中需要显示出满足条件的 N 个最底层记录或最顶层记录, Top-N 查询将会十分有用。 语法格式 SELECT [column_list]
源(CPU和内存),用于灵活应对业务对计算资源变化的需求。 创建弹性资源池后,您可以在弹性资源池中创建多个队列,队列关联到具体的作业和数据处理任务,是资源池中资源被实际使用和分配的基本单元,即队列是执行作业所需的具体的计算资源。 同一弹性资源池中,队列之间的计算资源支持共享。 通
的 catalog 和名为 “db_name” 的数据库一起注册到 metastore 中。使用 db_name.table_name 的表将会被注册到当前执行的 table environment 中的 catalog 且数据库会被命名为 “db_name”;对于 table_name
source/sinks参数说明 参数名称 是否必选 参数类型 说明 name 否 String 输入流或输出流名称。 records 否 Long 总记录数。 corrupted_records 否 Long 脏数据记录数。 示例 请求样例 { "job_ids": [298765, 298766]
SQL作业访问报错:DLI.0003: AccessControlException XXX 问题现象 SQL作业访问报错:DLI.0003: AccessControlException XXX。 解决措施 请检查OBS桶权限,确保你的账号有权限访问报错信息中提到的OBS桶。
Flink Opensource SQL Elasticsearch结果表failure-handler参数填写retry_rejected导致提交失败 问题说明 Flink Opensource SQL Elasticsearch结果表failure-handler参数填写retry_rejected导致提交失败
SQL作业中存在join操作,因为自动广播导致内存不足,作业一直运行中 问题现象 SQL作业中存在join操作,作业提交后状态一直是运行中,没有结果返回。 问题根因 Spark SQL作业存在join小表操作时,会触发自动广播所有executor,使得join快速完成。但同时该操
Flink 提供了一套与表连接器(table connector)一起使用的表格式(table format)。 表格式是一种存储格式,定义了如何把二进制数据映射到表的列上。 表1 Flink支持格式 Formats 支持的Connectors CSV Kafka, Upsert Kafka
Integer 当前作业返回的结果总条数或insert作业插入的总条数。 database_name 否 String 记录其操作的表所在的数据库名称。类型为Import和Export作业才有“database_name”属性。 table_name 否 String 记录其操作的
SQL作业访问报错:File not Found 问题现象 执行SQL作业访问报错:File not Found。 可能原因 可能由于文件路径错误获文件不存在导致系统无法找指定文件路径或文件。 文件被占用。 解决措施 检查文件路径、文件名。 检查文件的路径是否正确,包括目录名称和文件名。
DLI跨源连接报错找不到子网怎么办? 跨源RDS表,执行insert overwrite提示Incorrect string value错误怎么办? 创建RDS跨源表提示空指针错误怎么办? 对跨源DWS表执行insert overwrite操作,报错:org.postgresql.util.PSQLException:
SQL作业访问外表报错:DLI.0001: org.apache.hadoop.security.AccessControlException: verifyBucketExists on {{桶名}}: status [403] 问题现象 SQL作业访问外表报错:DLI.0001:
自拓展输出流 用户可通过编写代码实现将DLI处理之后的数据写入指定的云生态或者开源生态。 语法格式 CREATE SINK STREAM stream_id (attr_name attr_type (',' attr_name attr_type)* ) WITH (
自拓展输出流 用户可通过编写代码实现将DLI处理之后的数据写入指定的云生态或者开源生态。 语法格式 CREATE SINK STREAM stream_id (attr_name attr_type (',' attr_name attr_type)* ) WITH (
该场景作业需要运行在DLI的独享队列上,因此要与HBase建立增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则,请参见《虚拟私有云用户指南》中“安全组”章节。 如果使用MRS HBase,请在增强
BasicCredentials。 仅支持获取AK、SK、SecurityToken。 获取到AK、SK、SecurityToken后,请参考如何使用凭据管理服务替换硬编码的数据库账号密码查询凭据。 约束限制 仅支持Flink1.15版本使用委托授权访问临时凭证: 在创建作业时,请配置作业使用Flink1
DLI存储资源使用约束限制 DLI提供了存储资源的能力,用于存储数据库和DLI表,DLI存储按存储数据量计费。 资源相关约束限制 数据库 “default”为内置数据库,不能创建名为“default”的数据库。 DLI支持创建的数据库的最大数量为50个。 数据表 DLI支持创建的表的最大数量为5000个。
执行SQL查询语句报错:DLI.0003: Permission denied for resource.... 问题现象 执行SQL查询语句,提示没有对应资源查询权限。 报错信息:DLI.0003: Permission denied for resource 'databases
若该函数已经存在,则不会进行任何操作。 LANGUAGE JAVA|SCALA Language tag 用于指定 Flink runtime 如何执行这个函数。目前,只支持 JAVA 和 SCALA,且函数的默认语言为 JAVA。 示例 创建一个名为STRINGBACK的函数 create
目组。 数据库 数据库即按照数据结构来组织、存储和管理数据的仓库。DLI服务管理权限的基础单元是数据库,赋权以数据库为单位。 在DLI中,表和数据库是定义底层数据的元数据容器。表中的元数据让DLI知道数据所在的位置,并指定了数据的结构,例如列名称、数据类型和表名称。数据库是表的逻辑分组。