正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建OBS外表,因为OBS文件中的某字段存在回车换行符导致表字段数据错误 问题现象 创建OBS外表,因为指定的OBS文件内容中某字段包含回车换行符导致表字段数据错误。 例如,当前创建的OBS外表语句为: CREATE TABLE test06 (name string, id int
入和删除表testTable数据的权限,则需要重新对该表进行权限赋予。 问题根因 删除表后再重建同名的表,该场景下表权限不会自动继承,需要重新对需要操作该该表的用户或项目进行赋权操作。 解决方案 表删除再创建后,需要重新对需要操作该表的用户或项目进行赋权操作。具体操作如下: 在管
手动在OBS表的分区目录下添加了数据,但是无法查询到该部分数据 问题现象 手动在OBS表的分区目录下上传了分区数据,但是在SQL编辑器中查询该表新增的分区数据时却查询不到。 解决方案 手动添加分区数据后,需要刷新OBS表的元数据信息。具体操作如下: MSCK REPAIR TABLE
选择多AZ存储,数据将冗余存储至多个AZ中,可靠性更高。选择多AZ存储的桶,数据将存储在同一区域的多个不同AZ。当某个AZ不可用时,仍然能够从其他AZ正常访问数据,适用于对可靠性要求较高的数据存储场景。建议优选使用多AZ存储的策略。 选择单AZ存储,数据仅存储在单个AZ中,但
怎样配置DLI队列与数据源的网络连通? 配置DLI队列与内网数据源的网络连通 DLI在创建运行作业需要连接外部其他数据源,如:DLI连接MRS、RDS、CSS、Kafka、DWS时,需要打通DLI和外部数据源之间的网络。 DLI提供的增强型跨源连接功能,底层采用对等连接的方式打通与目的
数据迁移 数据迁移概览 迁移Hive数据至DLI 迁移Kafka数据至DLI 迁移Elasticsearch数据至DLI 迁移RDS数据至DLI 迁移DWS数据至DLI
split_cursor split_cursor表值函数可以将一行转多行,一列转为多列,仅支持在JOIN LATERAL TABLE中使用。 表1 split_cursor表值函数表 函数 返回值类型 描述 split_cursor(value, delimiter) cursor
关联OBS桶中嵌套的JSON格式数据如何创建表 DLI支持关联OBS桶中嵌套的JSON格式数据,使用异步模式建表即可。 建表语句如下: create table tb1 using json options(path 'obs://....') 父主题: 作业开发
SQL 系统中。在许多情况下,这对于利用此功能很有用。 例如: 将数据库中的增量数据同步到其他系统 审计日志 数据库的实时物化视图 临时连接更改数据库表的历史等等。 Flink 还支持将 Flink SQL 中的 INSERT/UPDATE/DELETE 消息编码为 Maxwell
数据库相关 创建数据库 删除数据库 查看指定数据库 查看所有数据库
通过在DLI控制台创建的Password类型的跨源认证,将DWS、RDS、DCS和DDS数据源的密码信息存储到DLI,无需在SQL作业中配置账号密码,安全访问DWS、RDS、DDS、DCS数据源。 Password类型跨源认证支持连接的数据源 Password类型跨源认证支持连接的数据源如表1所示。
常见场景的委托权限策略 本节操作提供了DLI常见场景的委托权限策略,用于用户自定义权限时配置委托的权限策略。委托策略中的“Resource”根据需要具体情况进行替换。 数据清理委托权限配置 适用场景:数据清理委托,表生命周期清理数据及lakehouse表数据清理使用。该委托需新建
queue_name 是 当前所在的队列的名称,此SQL若需使用资源将使用该队列的资源进行计算。 请求消息 表2 请求参数 参数 是否必选 参数类型 说明 sql 是 String 待执行的SQL语句。 currentdb 否 String SQL语句执行所在的数据库。当创建新数据库时,不需要提供此参数。
示例 使用JDBC作为数据源,Print作为sink,从RDS MySQL数据库中读取数据,并写入到Print中。 参考增强型跨源连接,根据RDS MySQL所在的虚拟私有云和子网创建相应的增强型跨源,并绑定所要使用的Flink弹性资源池。 设置RDS MySQL的安全组,添加入向规
DATABASES与SCHEMAS是等效的,都将返回所有的数据库名称。 示例 查看当前的所有数据库。 1 SHOW DATABASES; 查看当前的所有以test开头的数据库。 1 SHOW DATABASES LIKE "test.*"; 父主题: 数据库相关
Kafka数据至DLI。 迁移Elasticsearch数据至DLI 介绍如何通过CDM数据同步功能,迁移Elasticsearch类型的CSS集群数据至DLI。 迁移RDS数据至DLI 介绍如何通过CDM数据同步功能,迁移关系型数据库RDS数据至DLI。 迁移DWS数据至DLI
说明 connector 是 数据源类型,固定为:jdbc。 url 是 数据库的URL。 table-name 是 读取数据库中的数据所在的表名。 driver 否 连接数据库所需要的驱动。若未配置,则会自动通过URL提取。 username 否 数据库认证用户名,需要和'password'一起配置。
SELECT命令用于查询CSS表中的数据。 语法格式 1 SELECT * FROM table_name LIMIT number; 关键字 LIMIT:对查询结果进行限制,number参数仅支持INT类型。 注意事项 所查询的表必须是已经存在的表,否则会出错。 示例 查询表dli_to_css中的数据。
SELECT命令用于查询DWS表中的数据。 语法格式 1 SELECT * FROM table_name LIMIT number; 关键字 LIMIT:对查询结果进行限制,number参数仅支持INT类型。 注意事项 所查询的表必须是已经存在的表,否则会出错。 示例 查询表dli_to_dws中的数据。
DLI将Flink作业从数据仓库服务(DWS)中读取数据。DWS数据库内核兼容PostgreSQL,PostgreSQL数据库可存储更加复杂类型的数据,支持空间信息服务、多版本并发控制(MVCC)、高并发,适用场景包括位置应用、金融保险、互联网电商等。 数据仓库服务(Data Warehouse