检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
table-name 否 table存储模式下必配，redis中存储表名。在table存储模式下，数据将以hash类型存储到redis，其中key为：${table-name}:${ext-key}，field名为列名。 说明： table存储模式：将connector.table-name、connector
15”，勾选“保存作业日志”并设置保存作业日志的OBS桶，方便后续查看作业日志。 认证用的username和password等硬编码到代码中或者明文存储都有很大的安全风险，建议使用DEW管理凭证。配置文件或者环境变量中密文存放，使用时解密，确保安全。Flink Opensource SQL使用DEW管理访问凭据
为直观的图表和仪表板，快速获得数据洞察。 Kyuubi是一个分布式 SQL 查询引擎，它提供了标准的SQL接口，使用户能够方便地访问和分析存储在大数据平台中的数据。 通过将Fine BI与Kyuubi对接，用户可以利用Kyuubi访问DLI进行数据查询和分析。这种集成简化了数据访
水与明细账单。 查看数据存储的资源账单 DLI控制台并未展示数据存储的相关信息，您可以在费用中心查询DLI数据存储的资源账单。 在控制台顶部菜单栏中选择“费用与成本 > 费用账单”。 选择“流水和明细账单 > 明细账单”，在产品的筛选条件中选择“DLI存储空间”，单击图标即可搜索DLI数据存储的资源账单。
15”，勾选“保存作业日志”并设置保存作业日志的OBS桶，方便后续查看作业日志。 认证用的username和password等硬编码到代码中或者明文存储都有很大的安全风险，建议使用DEW管理凭证。配置文件或者环境变量中密文存放，使用时解密，确保安全。Flink Opensource SQL使用DEW管理访问凭据
Jar作业在DLI创建数据库和表，请参考《使用Spark作业访问DLI元数据》。 完整样例代码参考 认证用的access.key和secret.key硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。 package com.huawei.dli.demo; import
jar”。参考以下操作步骤上传该作业程序。 提交Flink作业之前，需要在OBS中上传数据文件。 登录管理控制台 在服务列表中，单击“存储”中的“对象存储服务OBS”，进入OBS管理控制台页面。 创建桶，这里以桶名“dli-test-obs01”为例。 单击“创建桶”。 进入“创建桶
调用API的鉴权过程中，您需要用到账号、用户和密码等信息。 区域 从地理位置和网络时延维度划分，同一个Region内共享弹性计算、块存储、对象存储、VPC网络、弹性公网IP、镜像等公共服务。Region分为通用Region和专属Region，通用Region指面向公共租户提供通用
Hudi表概述 Hudi表使用约束 Hudi查询类型 Hudi存储结构
15”，勾选“保存作业日志”并设置保存作业日志的OBS桶，方便后续查看作业日志。 认证用的username和password等硬编码到代码中或者明文存储都有很大的安全风险，建议使用DEW管理凭证。配置文件或者环境变量中密文存放，使用时解密，确保安全。Flink Opensource SQL使用DEW管理访问凭据
Connector列表 Connector概述 BlackHole ClickHouse DataGen Doris DWS Elasticsearch 对象存储OBS Hbase Hive Hudi JDBC Kafka MySql CDC Print Redis Upsert Kafka 父主题：
15”，勾选“保存作业日志”并设置保存作业日志的OBS桶，方便后续查看作业日志。 认证用的username和password等硬编码到代码中或者明文存储都有很大的安全风险，建议使用DEW管理凭证。配置文件或者环境变量中密文存放，使用时解密，确保安全。Flink Opensource SQL使用DEW管理访问凭据
常大，在bulk存储设置的数据条数前提前到达了单次batch的总数据量上限，则停止存储数据，以batch.size.bytes为准，提交该批次的数据。 batch.size.bytes 单次batch的总数据量上限，默认为1mb。如果单条数据非常小，在bulk存储到总数据量前提前
关注 点击 - 步骤1：上传数据 将数据上传到对象存储服务OBS，为后面使用DLI完成数据分析做准备。 下载OBS Browser+。下载地址请参考《对象存储服务工具指南》。 安装OBS Browser+。安装步骤请参考《对象存储服务工具指南》。 登录OBS Browser+。OBS
obs桶名称。 tbl_path Delta表在obs桶中的存储位置。 using 参数delta，定义和创建Delta table table_comment 表的描述信息。 location_path Delta表的存储位置，当前版本通过表名创建Delta表时必须指定，且只支持obs路径，指定该路径Delta
version.enable"); 开启多版本功能后，在执行insert overwrite或者truncate操作时会自动在OBS存储路径下存储多版本数据。关闭多版本功能后，需要通过如下命令把多版本数据目录回收。 RESTORE TABLE [db_name.]table_name
DROP COLUMN不支持rctext、rcbinary、rcfile 格式存储的表。由于connector对不同文件格式的列访问模式不同，drop column后可能会出现查询失败的情况，例如： 对于orc格式存储的非分区表 ，drop column后如果查询失败，需要设置Session属性：
会根据排序键对输入的流进行排序。 如果 top N 的记录发生了变化，变化的部分会以撤销、更新记录的形式发送到下游。 如果 top N 记录需要存储到外部存储，则结果表需要拥有相同与 Top-N 查询相同的唯一键。 示例 查询每个分类实时销量最大的五个产品 SELECT * FROM (
Hudi Hudi是一种数据湖的存储格式，在Hadoop文件系统之上提供了更新数据和删除数据的能力以及消费变化数据的能力。支持多种计算引擎，提供IUD接口，在HDFS的数据集上提供了插入更新和增量拉取的功能。 表1 支持类别 类别 详情 支持Flink表类型 源表、结果表 支持hudi表类型
表。 创建必要的存储桶来存储作业运行过程中产生的临时数据：作业日志、作业结果等。请参考配置DLI作业桶。 配置元数据的访问权限。请参考在DLI控制台配置数据库权限、在DLI控制台配置表权限。 DLI数据导入指引 DLI支持在不迁移数据的情况下，直接对OBS中存储的数据进行查询分析
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
