检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建OBS表时怎样指定OBS路径 场景概述 创建OBS表时,OBS路径须指定到数据库下的具体表层路径。路径格式为:obs://xxx/数据库名/表名。 创建OBS表更多语法介绍请参考《数据湖探索Spark SQL语法参考》。 正确示例 CREATE TABLE `di_selle
您还可以通过自定义镜像增强DLI的计算环境,通过下载DLI提供的基础镜像再按需制作自定义镜像,将作业运行需要的依赖(文件、jar包或者软件)、私有能力等内置到自定义镜像中,可以改变Spark作业和Flink作业的容器运行环境,增强作业的功能、性能。 例如,在自定义镜像中加入机器学习相关的Python
建桶成功后,返回桶列表,单击桶DLI-demo。OBS Browser+提供强大的拖拽上传功能,您可以将本地的一个或多个文件或者文件夹拖拽到对象存储的对象列表或者并行文件系统的对象列表中;同时您也可以将文件或文件夹拖拽到指定的目录上,这样可以上传到指定的目录中。 单击Best_Practice_04
Elasticsearch结果表 功能描述 DLI将Flink作业的输出数据输出到云搜索服务CSS的Elasticsearch中。Elasticsearch是基于Lucene的当前流行的企业级搜索服务器,具备分布式多用户的能力。其主要功能包括全文检索、结构化搜索、分析、聚合、高亮
删除数据库(废弃) 功能介绍 该API用于删除空数据库,默认方式下,若待删除的数据库中存在表,则需先删除其中的所有表。删除表API请参见删除表(废弃)。 当前接口已废弃,不推荐使用。 调试 您可以在API Explorer中调试该接口。 URI URI格式: DELETE /v1.0/{p
DLI如何访问OBS桶中的数据 创建OBS表。 具体语法请参考《数据湖探索SQL语法参考》。 添加分区。 具体语法请参考《数据湖探索SQL语法参考》。 往分区导入OBS桶中的数据。 具体语法请参考《数据湖探索SQL语法参考》。 查询数据。 具体语法请参考《数据湖探索SQL语法参考》。
jar作业时,CPU与内存比例为1:4~1:8。 Compaction作业是将存量的parquet文件内的数据与新增的log中的数据进行合并,需要消耗较高的内存资源,按照之前的表设计规范以及实际流量的波动结合考虑,建议Compaction作业CPU与内存的比例按照1:4~1:8配置,保证Compaction作
String 访问的表名。 表名支持正则表达式以读取多个表的数据,例如cdc_order(.)*表示以cdc_order开头的表名。 port 否 3306 Integer MySQL数据库的端口号。 server-id 否 5400~6000随机值 String 数据库客户端的一个数字I
Integer 表的总列数。 columns 是 Array of Objects 表的列信息,包含列名称、类型和描述信息。具体参数详见表3。 table_type 是 String 表类型,包括: “MANAGED”:DLI表。 “EXTERNAL”:OBS表。 “VIEW”:VIEW视图。
SERIALIZABLE 默认值为“READ_UNCOMMITTED”。 注意事项 创建DWS关联表时,不需要指定关联表的Schema。DLI会自动获取DWS中对应参数"dbtable"中的表的Schema。 示例 1 2 3 4 5 6 CREATE TABLE IF NOT EXISTS
INSERT/UPDATE/DELETE 消息到 Flink SQL 系统中。在许多情况下,这对于利用此功能很有用。 例如: 将数据库中的增量数据同步到其他系统 审计日志 数据库的实时物化视图 临时连接更改数据库表的历史等等。 Flink 还支持将 Flink SQL 中的 INSERT/UPDATE/DELETE
支持INT类型。 注意事项 所查询的表必须是已经存在的表,否则会出错。 示例 查询表opentsdb_table中的数据。 1 SELECT * FROM opentsdb_table limit 100; 父主题: 跨源连接OpenTSDB表
DLI分区内表导入的文件不包含分区列的数据,导致数据导入完成后查询表数据失败怎么办? 问题现象 DLI分区内表导入了CSV文件数据,导入的文件数据没有包含对应分区列的字段数据。分区表查询时需要指定分区字段,导致查询不到表数据。 问题根因 DLI分区内表在导入数据时,如果文件数据没
统会匹配上对应的分区。单表分区数最多允许100000个。 select_statement 源表上的SELECT查询(支持DLI表、OBS表)。 values_row 想要插入到表中的值,列与列之间用逗号分隔。 注意事项 表必须已经存在。 如果动态分区不需要指定分区,则将“par
在管理控制台左侧,单击“数据管理”>“库表管理”。 单击需要设置权限的表所在的数据库名,进入该数据库的“表管理”页面。 单击所选表“操作”栏中的“权限管理”,将显示该表对应的权限信息。 单击表权限管理页面右上角的“授权”按钮。 在弹出的“授权”对话框中选择相应的权限。 单击“确定”,完成表权限设置。 父主题:
authSource=admin" database DDS的数据库名,如果在"url"中同时指定了数据库名,则"url"中的数据库名不生效。 collection DDS中的collection名,如果在"url"中同时指定了collection,则"url"中的collection不生效。 user
请求费用:用户访问OBS中存储的静态网站文件时产生的请求费用。 流量费用:用户使用自定义域名通过公网访问OBS时产生的流量费用。 实际产生的费用与存储的文件大小、用户访问所产生的请求次数和流量大小有关,请根据自己的业务进行预估。 DLI 在创建SQL作业前需购买队列,使用DLI的队列资源时,按照队列CU时进行计费。
table_number 否 Integer 数据库中表的个数。 description 否 String 数据库相关的描述信息。 enterprise_project_id 是 String 企业项目ID,“0”表示default,即默认的企业项目。关于如何设置企业项目请参考《企业管理用户指南》。
型与目标表的Schema信息匹配。即确保源表和目标表的数据类型和列字段个数相同,以避免插入失败。 如果目标表中的某些字段在SELECT子句中没有被指定,那么这些字段也可能被插入默认值或置为空值(取决于该字段是否允许空值)。 父主题: SQL作业开发类
有的字段,会显示匹配上的所有分区信息。 注意事项 所要查看分区的表必须存在且是分区表,否则会出错。 示例 查看student表下面的所有的分区。 1 SHOW PARTITIONS student; 查看student表中dt='2010-10-10'的分区。 1 SHOW PARTITIONS