-
创建并提交Spark SQL作业 - 数据湖探索 DLI
“default”为内置数据库,不能创建名为“default”的数据库。 在DLI管理控制台,单击左侧导航栏中的“SQL编辑器”,可进入SQL作业“数据库”页面。 在“SQL编辑器”页面右侧的编辑窗口中,输入如下SQL语句,单击“执行”。阅读并同意隐私协议,单击“确定”。 create database
-
Flink Opensource SQL从RDS数据库读取的时间和RDS数据库存储的时间为什么会不一致? - 数据湖探索 DLI
数据库时区。 这里它指向 'SYSTEM',也就是数据库服务器的系统时间('system_time_zone')。而这个系统时间在这里指向 CST,所以,最终数据库时区才是 CST。 time_zone 数据库所在服务器的时区,服务器是台主机。 如本地数据库所在计算机的默认时区是中国标准时间,则查出来
-
导入数据 - 数据湖探索 DLI
在管理控制台的左侧,单击“SQL编辑器”。 在“SQL编辑器”页面左侧导航栏选择“数据库”页签,鼠标左键单击需要导入数据的表对应的数据库名,进入“表”区域。 鼠标左键单击对应表右侧的,在列表菜单中选择“导入”,弹出“导入数据”页面。 图2 SQL编辑器-导入数据 在“导入数据”页面,参见表1填写相关信息。
-
快速使用SQL语句查询数据 - 数据湖探索 DLI
单击图片可查看原图 Step2 选择队列 步骤 ① 在“总览”页面,单击左侧导航栏中的“SQL编辑器”或SQL作业简介右上角的“创建作业”,可进入“SQL编辑器”页面。 ② 在SQL编辑器页面,选择默认的队列“default”。 说明 该队列为服务默认的共享队列,队列大小按需分配,自
-
迁移Elasticsearch数据至DLI - 数据湖探索 DLI
”时,表示导入数据成功。 在DLI上创建数据库和表。 登录DLI管理控制台,选择“SQL编辑器”,在SQL编辑器中“执行引擎”选择“spark”,“队列”选择已创建的SQL队列。 在编辑器中输入以下语句创建数据库,例如当前创建迁移后的DLI数据库testdb。详细的DLI创建数据库的语法可以参考创建DLI数据库。
-
LOAD数据到OBS外表报错:IllegalArgumentException: Buffer size too small. size - 数据湖探索 DLI
骤如下: 登录DLI管理控制台,单击“作业管理 > SQL作业”,对应SQL作业行的操作列,单击“编辑”按钮,跳转到“SQL编辑器”。 在“SQL编辑器”中,单击“设置”,参考如下图配置添加参数。 图1 设置参数 重新执行作业。 父主题: 作业运维报错
-
SQL模板管理 - 数据湖探索 DLI
执行:单击“执行”将跳转至SQL编辑器页面,可根据需要进行修改或直接执行操作。具体请参考执行模板。 修改:单击“修改”可在弹出的“修改模板”对话框中,根据需要修改模板的信息。具体请参考修改模板。 创建模板 创建模板的操作入口有两个,分别在“作业模板”和“SQL编辑器”页面。 在“作业模板”页面创建模板。
-
使用SDK相关问题 - 数据湖探索 DLI
使用SDK相关问题 使用SDK查询SQL作业结果,如何设置超时时间? 服务器:请求dli.xxx,unable to resolve host address, 如何解决?
-
创建数据库和表 - 数据湖探索 DLI
创建数据库的入口有两个,分别在“数据管理”和“SQL编辑器”页面。 在“数据管理”页面创建数据库。 在管理控制台左侧,单击“数据管理”>“库表管理”。 在库表管理页面右上角,单击“创建数据库”可创建数据库。 在“SQL编辑器”页面创建数据库。 在管理控制台左侧,单击“SQL编辑器”。 在左侧导航栏单击“数据库”页签右侧可创建数据库。
-
从DLI导入数据到OBS,为什么数据量出现差异? - 数据湖探索 DLI
确认客户验证数据量的方式是否正确。客户验证的方式如下: 通过OBS下载数据文件。 通过文本编辑器打开数据文件,发现数据量缺失。 根据该验证方式,初步定位是因为文件数据量较大,文本编辑器无法全部读取。 通过执行查询语句,查询OBS数据进一步进行确认,查询结果确认数据量正确。 因此,该问题为验证方式不正确造成。
-
将DLI数据导出至OBS - 数据湖探索 DLI
“SQL编辑器”页面。 在“数据管理”页面导出数据。 在管理控制台左侧,单击“数据管理”>“库表管理”。 单击需导出数据的表对应的数据库,进入该数据的“表管理”页面。 在对应表(DLI表)的“操作”栏中选择“更多”中的“导出”,弹出“导出数据”页面。 在“SQL编辑器”页面导出数据。
-
迁移DWS数据至DLI - 数据湖探索 DLI
table1; 图1 查询表数据 在DLI上创建数据库和表。 登录DLI管理控制台,选择“SQL编辑器”,在SQL编辑器中“执行引擎”选择“spark”,“队列”选择已创建的SQL队列。 在编辑器中输入以下语句创建数据库,例如当前创建迁移后的DLI数据库testdb。详细的DLI创建数据库的语法可以参考创建DLI数据库。
-
FineBI工具对接DLI Trino - 数据湖探索 DLI
即创建”完成创建。 图10 创建后端服务器组 在后端服务器组页面,单击创建好的后端服务器组操作列下的“添加后端服务器”添加后端服务器。 图11 跨VPC后端IP和业务端口 验证VPCEP与DLI的网络打通 在后端服务组跨VPC后端页面下查看健康检查结果栏显示为正常则网络打通。 图12
-
DWS输出流(通过OBS转储方式) - 数据湖探索 DLI
单字节,建议使用不可见字符,如\u0007。 db_obs_server 否 已在数据库中创建的外部服务器,如obs_server。 如何创建外部服务器,具体操作步骤可参考《数据仓库服务数据库开发指南》中创建外部服务器章节。 如果编码方式为orc格式时需指定该参数。 obs_dir 是 中间文件存储目录。格式为{桶名}/{目录名},
-
DWS输出流(通过OBS转储方式) - 数据湖探索 DLI
单字节,建议使用不可见字符,如\u0007。 db_obs_server 否 已在数据库中创建的外部服务器,如obs_server。 如何创建外部服务器,具体操作步骤可参考《数据仓库服务数据库开发指南》中创建外部服务器章节。 如果编码方式为orc格式时需指定该参数。 obs_dir 是 中间文件存储目录。格式为{桶名}/{目录名},
-
PowerBI工具对接DLI Trino - 数据湖探索 DLI
即创建”完成创建。 图10 创建后端服务器组 在后端服务器组页面,单击创建好的后端服务器组操作列下的“添加后端服务器”添加后端服务器。 图11 跨VPC后端IP和业务端口 验证VPCEP与DLI的网络打通 在后端服务组跨VPC后端页面下查看健康检查结果栏显示为正常则网络打通。 图12
-
Python SDK环境配置 - 数据湖探索 DLI
it with Build Tools for Visual Studio ”,可能是由于缺少C++编译器导致的报错,建议您根据提示信息安装相应版本的Visual Studio编译器解决。部分操作系统Visual Studio安装后需重启才可以生效。 安装DLI服务Python SDK。
-
Raw Format - 数据湖探索 DLI
墓碑消息(在键上删除)。因此,如果该字段可能具有 null 值,我们建议避免使用 upsert-kafka 连接器和 raw format 作为 value.format。 Raw format 连接器是内置的。 参数说明 表1 参数 是否必选 默认值 类型 描述 format 是 (none) String
-
Raw Format - 数据湖探索 DLI
墓碑消息(在键上删除)。因此,如果该字段可能具有 null 值,我们建议避免使用 upsert-kafka 连接器和 raw format 作为 value.format。 Raw format 连接器是内置的。 参数说明 表1 参数 是否必选 默认值 类型 描述 format 是 (none) String
-
迁移Kafka数据至DLI - 数据湖探索 DLI
"Duration":146,"Sign":-1} 在DLI上创建数据库和表。 登录DLI管理控制台,选择“SQL编辑器”,在SQL编辑器中“执行引擎”选择“spark”,“队列”选择已创建的SQL队列。 在编辑器中输入以下语句创建数据库,例如当前创建迁移后的DLI数据库testdb。详细的DLI创建数据库的语法可以参考创建DLI数据库。