检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
gzip 存储路径 输入或选择OBS路径。 导出路径必须为OBS桶中不存在的文件夹,即用户需在OBS目标路径后创建一个新文件夹。 文件夹名称不能包含下列特殊字符:\ / : * ? " < > |,并且不能以“.”开头和结尾。 导出方式 导出数据的保存方式。 随导出创建指定路径:指定的
导出查询结果 功能介绍 该API用于将SQL语句的查询结果导出到OBS对象存储中,只支持导出“QUERY”类型作业的查询结果。 该API为异步操作。 目前只支持导出数据到OBS中,且导出的路径必须指定到文件夹级别。OBS路径中不支持逗号,且其中的桶名不能以正则格式“.[0-9]+(
创建OBS表时怎样指定OBS路径 场景概述 创建OBS表时,OBS路径须指定到数据库下的具体表层路径。路径格式为:obs://xxx/数据库名/表名。 创建OBS表更多语法介绍请参考《数据湖探索Spark SQL语法参考》。 正确示例 CREATE TABLE `di_selle
说明 data_path 是 String 导出数据的储存路径(当前仅支持将数据存储在OBS上)。另外,“export_mode”配置为“errorifexists”时,该路径下的文件夹须不存在,如请求样例中的“test”文件夹。 data_type 是 String 导出数据的类型
OBS文件路径创建的DLI表查询无数据 问题现象 使用Flink作业输出流写入数据到了OBS中,通过该OBS文件路径创建的DLI表进行数据查询时,无法查询到数据。 例如,使用如下Flink结果表将数据写入到OBS的“obs://obs-sink/car_infos”路径下。 create
CSV 数据源路径 直接输入路径或单击选择OBS的路径,如果没有合适的桶可直接跳转OBS创建。 创建OBS表时指定的路径必须是文件夹,如果建表路径是文件将导致导入数据失败。 当OBS的目录下有同名文件夹和文件时,数据导入指向该路径会优先指向文件而非文件夹。 说明: 路径同时支持文件和文件夹。
归档日志 在OBS目录下,获取归档日志文件夹,详细如下。 Spark SQL作业: 查看带有“driver”或者为“container_xxx_000001”的日志文件夹则为需要查看的Driver日志目录。 图2 带有driver的归档日志文件夹名示例 图3 container_xxx_000001归档日志文件夹示例
导入OBS表时,创建OBS表时指定的路径必须是文件夹,若建表路径是文件将导致导入数据失败。 仅支持导入位于OBS路径上的原始数据。 不建议对同一张表并发导入数据,因为有一定概率发生并发冲突,导致导入失败。 导入数据时只能指定一个路径,路径中不能包含逗号。 当OBS桶目录下有文件夹和文件同名时,导入
导入OBS表时,创建OBS表时指定的路径必须是文件夹,若建表路径是文件将导致导入数据失败。 仅支持导入位于OBS路径上的原始数据。 不建议对同一张表并发导入数据,因为有一定概率发生并发冲突,导致导入失败。 导入数据时只能指定一个路径,路径中不能包含逗号。 当OBS桶目录下有文件夹和文件同名时,导入
“partition_specs”中的参数默认带有“( )”。例如:PARTITION (dt='2009-09-09',city='xxx')。 在添加分区时若指定OBS路径,则该OBS路径必须是已经存在的,否则会出错。 若添加多个分区,每组PARTITION partition_specs LOCATION
格式只支持csv格式。 当OBS桶目录下有文件夹和文件同名时,加载数据会优先指向该路径下的文件而非文件夹。建议创建OBS对象时,在同一级中不要出现同名的文件和文件夹。 提交作业 DLI提供查询作业的接口。您可以使用该接口执行查询并获取查询结果。示例代码如下: 1 2 3 4
json文件上传到OBS桶根目录下。 在OBS桶根目录下,单击“新建文件夹”,创建名为“result”的文件夹。 单击“result”的文件夹,在“result”下单击“新建文件夹”,创建名为“parquet”的文件夹。 步骤3:新建Maven工程,配置pom依赖 以下通过IntelliJ
如何使用python脚本访问MySQL数据库? 缺少pymysql模块,可以查看是否有对应的egg包,如果没有,在“程序包管理”页面上传pyFile。具体步骤参考如下: 将egg包上传到指定的OBS桶路径下。 登录DLI管理控制台,单击“数据管理 > 程序包管理”。 在“程序包管
csv 导出方式 是 随导出创建指定路径: 该方式导出作业结果时,会创建一个新的文件夹路径,并将作业结果保存在这个路径中。适用于当您希望在新的路径下保存本次的导出结果的场景,方便作业结果的管理的回溯。 选择“随导出创建指定路径”时,请务必在“存储路径”后手动输入指定的导出目录,且该目
请求参数说明 参数名称 是否必选 参数类型 说明 zip_file 是 String 从OBS上导入的作业zip文件路径,支持填写文件夹,导入文件夹下的所有zip文件。 说明: 文件夹中只能包含zip文件。 is_cover 否 Boolean 如果导入的作业与服务已有的作业同名,是否覆盖服务中已有的作业。
当OBS桶目录下有文件夹和文件同名时,加载数据会优先指向该路径下的文件而非文件夹。建议创建OBS对象时,在同一级中不要出现同名的文件和文件夹。 提交作业 DLI提供提交作业和查询作业的接口。您可以通过提交接口提交作业,如果需要查询结果可以调用查询接口查询该作业的结果。示例代码如下:
OBS存储路径。 注意事项 所要修改位置的表分区必须是已经存在的,否则将报错。 “partition_specs”中的参数默认带有“( )”,例如:PARTITION (dt='2009-09-09',city='xxx')。 所指定的新的OBS路径必须是已经存在的绝对路径,否则将报错。
n数据。 Avro:DLI支持读取不压缩的avro数据。 CSV 存储路径 输入或选择OBS路径。路径可以是文件夹,也可以是路径。 说明: 如果需要将OBS上的数据导入OBS表,则建表路径必须是文件夹。建表路径是文件时,会导致数据导入失败。 obs://obs1/sampledata
OBS存储路径。 注意事项 所要修改位置的表分区必须是已经存在的,否则将报错。 “partition_specs”中的参数默认带有“( )”,例如:PARTITION (dt='2009-09-09',city='xxx')。 所指定的新的OBS路径必须是已经存在的绝对路径,否则将报错。
可能原因 可能由于文件路径错误或文件不存在导致系统无法找指定文件路径或文件。 文件被占用。 解决措施 检查文件路径、文件名。 检查文件的路径是否正确,包括目录名称和文件名。 文件被占用 文件被占用导致的文件报错找不到,一般是读写冲突产生的,建议查询SQL查询报错表的时候,是否有作业正在覆盖写对应数据。