检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据库相关API(废弃) 创建数据库(废弃) 删除数据库(废弃) 查询所有数据库(废弃) 修改数据库用户(废弃) 父主题: 资源相关API(废弃)
表相关API(废弃) 创建表(废弃) 删除表(废弃) 查询所有表(废弃) 描述表信息(废弃) 预览表内容(废弃) 获取分区信息列表(废弃) 父主题: 资源相关API(废弃)
(不使用Catalog的场景): 这里的sink表通过创建临时表指向Hudi表路径来写入数据,同时在表参数中配置hive_sync相关参数,实时同步元数据至由DLI提供的元数据服务。(具体参数详见Flink参数一节) 请将作业中sink表的path参数修改为希望保存hudi表的obs路径。
CUBE ( column [, ...] ) ROLLUP ( column [, ...] ) 描述 从零个或多个表中检索行数据。 查询stu表的内容。 SELECT id,name FROM stu; 父主题: DQL 语法
Spark Jar作业开发指南 使用Spark Jar作业读取和查询OBS数据 使用Spark作业访问DLI元数据 使用Spark作业跨源访问数据源 Spark Jar 使用DEW获取访问凭证读写OBS 获取Spark作业委托临时凭证用于访问其他云服务
hadoop.fs.obs.OBSIOException错误 问题现象 在DataArts Studio上运行DLI SQL脚本,执行结果的运行日志显示语句执行失败,错误信息为: DLI.0999: RuntimeException: org.apache.hadoop.fs.obs
1996; 96 M 月份 July; Jul; 07 w 年中的周数 27(该年的第27周) W 月中的周数 2(该月的第2周) D 年中的天数 189(该年的第189天) d 月中的天数 10(该月的第10天) u 星期中的天数 1 = 星期一, ..., 7 = 星期日 a am/pm
错误码 调用API出错后,将不会返回结果数据。调用方可根据每个API对应的错误码来定位错误原因。 当调用出错时,HTTP 请求返回一个 4xx 或 5xx 的 HTTP 状态码。返回的消息体中是具体的错误代码及错误信息。在调用方找不到错误原因时,可以联系企业技术人员,并提供错误码,以便我们尽快帮您解决问题。
SDK获取与安装 Python SDK安装方式 本节操作介绍安装Python SDK的操作指导。 获取DLI SDK 在“DLI SDK DOWNLOAD”页面,单击选择所需的SDK链接,即可获取对应的SDK安装包。 “dli-sdk-python-x.x.x.zip”压缩包,解压后目录结构如下:
-- 删除分区表数据(删除where子句指定的分区所有数据) delete from hive.web.page_views where ds=date '2020-07-17' and country='US'; --用指定列的查询结果创建新表orders_column_aliased:
批量作业ID。 作业ID可以通过创建作业接口或者查询作业接口获取。 resume_savepoint 否 Boolean 是否将作业从最近创建的保存点恢复。 当“resume_savepoint”为“true”时,表示作业从最近创建的保存点恢复。 当“resume_savepoin
删除全局变量 功能介绍 该API用于删除全局变量。 只有创建全局变量的用户才可以删除对应的变量。 调试 您可以在API Explorer中调试该接口。 URI URI格式 DELETE /v1.0/{project_id}/variables/{var_name} 参数说明 表1
while trying to read 143805 bytes 问题原因 上述报错可能原因是当前导入的文件数据量较大,同时因为spark.sql.shuffle.partitions参数设置的并行度过大,导致缓存区大小不够而导入数据报错。 解决方案 建议可以尝试调小spark.sql.shuffle
DLI数据多版本功能当前仅支持通过Hive语法创建的OBS表,具体建表SQL语法可以参考使用Hive语法创建OBS表。 回收站数据自动清理需要在OBS并行文件系统的桶上配置回收站数据的生命周期规则。具体步骤参考如下: 在OBS服务控制台页面左侧选择“并行文件系统”,单击对应的文件系统名称。 在“基础配置
lastModified 最后一次修改的时间戳 partitionColumns 分区列 numFiles 表的最新版本中的文件个数 sizeInBytes 表的最新快照的大小(以字节为单位) properties 为此表设置的所有属性 minReaderVersion 可以读取该表的最低Reader版本
cluster_name 是 String 新建的集群名称,名称只能包含数字、英文字母和下划线,但不能是纯数字,且不能以下划线开头。 description 否 String 集群的描述信息。 cu_count 是 Integer 与集群绑定的计算单元个数, 同时是计费的单元。可选择16CU,64C
tableName 表名。 col_name 待修改的列名。 column_type 目标列类型。 col_comment 列comment。 column_name 位置修改参照列,例如:AFTER column_name的语义是要将待修改列放到参照列column_name之后。
table_name Database中的表名,由字母、数字和下划线(_)组成。 bucket_name obs桶名称。 tbl_path Delta表在obs桶中的存储位置。 columnTypeList 以逗号分隔的带数据类型的列表。列名由字母、数字和下划线(_)组成。 using
添加到弹性资源池中的队列不再单独计费,以弹性资源池为计费项计费: 按需计费模式:按弹性资源池的实际CUs计费。 包年/包月计费模式:按弹性资源池的实际CUs计费,其中规格部分包年/包月,超出规格的部分按需计费。 弹性资源池CU时套餐包:按购买的套餐包周期价格扣费,其中套餐包内的规格包周期计费,超出套餐包规格的部分按需计费。
SparkSQL天然与Hive集成,无需考虑元数据问题。该条建议针对的是通过Spark Datasource API或者Flin写Hudi表的场景,通过这两种方式写Hudi时需要增加向Hive同步元数据的配置项;该配置的目的是将Hudi表的元数据统一托管到Hive元数据服务中,为后续的跨引擎操作数据以及数据管理提供便利。