检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
查看SQL执行计划 SQL执行计划是数据库查询的逻辑流程图,它展示了数据库管理系统如何执行一个特定的SQL查询。执行计划详细列出了执行查询所需的各个步骤,例如表扫描、索引查找、连接操作(如内连接、外连接)、排序和聚合等。执行计划可以帮助分析查询的性能,识别可能的性能瓶颈,通过了解
怎样查看DLI SQL日志? 场景概述 日常运维时需要查看DLI SQL日志。 操作步骤 在DataArts Studio控制台获取DataArts Studio执行DLI作业的job id。 图1 查看日志 图2 查找job id 在DLI控制台,选择“作业管理”>“SQL作业”。
DLI支持将Flink作业数据输出到ClickHouse数据库中,表类型仅支持结果表。 ClickHouse是面向联机分析处理的列式数据库,支持SQL查询,且查询性能好,特别是基于大宽表的聚合分析查询性能非常优异,比其他分析型数据库速度快一个数量级。详细请参考ClickHouse组件操作。
整个Flink环境。通过将非Connector的Flink依赖项(以flink-开头)和第三方库(如Hadoop、Hive、Hudi、Mysql-cdc)的作用域设置为provided,可以确保这些依赖项不会被包含在Jar作业中,从而实现最小化提交,避免依赖包与flink内核中依赖包冲突:
String 队列名称。示例值:queue1。 privileges 否 Array of Object 有权限使用该队列的用户及其对应的权限数组。 具体参数请参考表4。 count 否 Long 用户的总个数。 表4 privileges参数 参数名称 是否必选 参数类型 说明 is_admin
还原Delta表版本参数说明 参数 描述 database_name Database名称,由字母、数字和下划线(_)组成。 table_name Database中的表名,由字母、数字和下划线(_)组成。 obs_path Obs路径,表示Delta表的存储位置。 timestamp_expression
T(subValue, length) ON TRUE; UDAF UDAF函数需继承AggregateFunction函数。首先需要创建一个用来存储计算结果的Accumulator,如示例里的WeightedAvgAccum。 编写代码示例 public class WeightedAvgAccum
进入DataArts Studio数据开发页面 步骤1:创建数据库和表 开发创建数据库和表的SQL脚本 数据库和表是SQL作业开发的基础,在执行作业前您需要根据业务场景定义数据库和表。 本节操作介绍提交SQL脚本创建数据库和表的操作步骤。 在DataArts Studio数据开发页面,选择左侧导航栏的“数据开发
该示例是利用Postgres-CDC实时读取RDS PostgreSQL中的数据,并写入到Print结果表中,其具体步骤如下(当前示例使用的数据库引擎版本是RDS PostgreSQL 11.11): 参考增强型跨源连接,根据PostgreSQL所在的虚拟私有云和子网创建相应的增强型跨
es/{database_name}/tables/{table_name}/preview 参数说明 表1 URI 参数 参数名称 是否必选 参数类型 说明 project_id 是 String 项目编号,用于资源隔离。获取方式请参考获取项目ID。 database_name
Connector概述 Flink Doris Connector 可以支持通过 Flink 操作(读取、插入、修改、删除) Doris 中存储的数据。 只能对Unique Key模型的表进行修改和删除操作。 表1 支持类别 类别 详情 支持表类型 源表、维表、结果表 父主题: Doris
解析JSON的路径表达式,使用字符串表示。 目前path支持如下表达式参考下表表3。 表3 json_path参数支持的表达式 表达式 说明 $ 根对象 [] 数组下标 * 数组通配符 . 取子元素 示例 测试输入数据。 测试数据源kafka,具体消息内容参考如下: {name:James,age:24,gender:male
9 10 11 12 13 14 15 16 17 //实例化ExportJob对象,传入导出数据所需的队列、数据库名、表名(通过实例化Table对象获取)和导出数据的存储路径,仅支持Table类型为MANAGED private static void exportData(Queue
签将很容易帮助您对不同的应用进行使用量分析和成本核算。 对DLI来说,标签用于标识购买的队列和创建数据库,对购买的DLI队列和数据库进行分类。为队列或数据库添加标签时,该队列或数据库上所有请求产生的计费话单里都会带上这些标签,您可以针对话单报表做分类筛选,进行更详细的成本分析。
version.enable"); 开启多版本功能后,在执行insert overwrite或者truncate操作时会自动在OBS存储路径下存储多版本数据。关闭多版本功能后,需要通过如下命令把多版本数据目录回收。 RESTORE TABLE [db_name.]table_name
FileSytem结果表 功能描述 FileSystem结果表用于将数据输出到分布式文件系统HDFS或者对象存储服务OBS等文件系统。数据生成后,可直接对生成的目录创建非DLI表,通过DLI SQL进行下一步处理分析,并且输出数据目录支持分区表结构。适用于数据转储、大数据分析、备份或活跃归档、深度或冷归档等场景。
SHALLOW CLONE参数描述 参数 描述 target_db 目标Database名称,由字母、数字和下划线(_)组成。 target_table 目标表名,由字母、数字和下划线(_)组成。 source_db 源Database名称,由字母、数字和下划线(_)组成。 source_table
导出数据的储存路径(当前仅支持将数据存储在OBS上)。另外,“export_mode”配置为“errorifexists”时,该路径下的文件夹须不存在,如请求样例中的“test”文件夹。 data_type 是 String 导出数据的类型,目前API支持csv和json格式数据。 database_name
ws。 数据库服务器 单击输入框旁边的“选择”按钮,选择当前已创建的DWS集群名称。 端口 DWS数据库的端口,默认为:8000。 数据库名称 当前需要迁移的DWS数据库名称。当前示例为DWS集群上创建数据库和表中创建的数据库“testdwsdb”。 用户名 待连接数据库的用户。
update操作。示例值:grant。 grant:赋权。 revoke:回收权限。 update:清空原来的所有权限,赋予本次提供的权限数组中的权限。 privileges 是 Array of Strings 待赋权、回收或更新的权限列表。可操作的权限可以是以下权限中的一种或