检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Spark作业不支持访问sftp，建议将文件数据上传到OBS，再通过Spark作业进行读取和分析。 上传数据到OBS桶：通过OBS管理控制台或者使用命令行工具将存储在sftp中的文件数据上传到OBS桶中。 Spark读取OBS文件数据，详见使用Spark Jar作业读取和查询OBS数据。 配置Spark作业
保存到OBS。 勾选“保存作业日志”参数后，需配置“OBS桶”参数，选择OBS桶用于保存用户作业日志信息。如果选择的OBS桶是未授权状态，需要单击“OBS授权”。 日志信息的保存路径为：“桶名/jobs/logs/作业id开头的目录”。其中，“桶名”可以自定义。“/jobs/logs/作业id开头的目录”为固定格式。
LOAD数据到OBS外表报错：IllegalArgumentException: Buffer size too small. size 问题描述 在Spark SQL作业中，使用LOAD DATA命令导入数据到DLI表中时报如下错误： error.DLI.0001: Illeg
x访问元数据时，DataSource语法创建avro类型的OBS表创建失败 问题描述 使用Spark访问元数据时，DataSource语法创建avro类型的OBS表创建失败。 图1 avro类型的OBS创建失败 根因分析 当前Spark2.3.x不支持创建avro类型的OBS表，Spark2.4.x及以上的版本支持avro类型的OBS表。
为分区表指定的生命周期，适用于该表所有的分区。 生命周期设置后，DLI表和OBS表支持数据备份，OBS表的备份目录需要手工设置。且备份目录应选择在并行文件系统上，备份目录必须和原表目录在同一个桶上，备份目录不能与原表相同目录或者子目录同名。 语法格式 DataSource语法创建DLI表
为分区表指定的生命周期，适用于该表所有的分区。 生命周期设置后，DLI表和OBS表支持数据备份，OBS表的备份目录需要手工设置。且备份目录应选择在并行文件系统上，备份目录必须和原表目录在同一个桶上，备份目录不能与原表相同目录或者子目录同名。 语法格式 DataSource语法创建DLI表
Boolean 是否开启作业日志。 开启：true 关闭：false 默认：false obs_bucket 否 String 当“log_enabled”为“true”时, 用户授权保存作业日志的OBS桶名。 smn_topic 否 String 当作业异常时，向该SMN主题推送告警信息。
需要执行Truncate命令的DLI表或者OBS表的名称。 partcol1 需要删除的DLI表或者OBS表的分区名称。 注意事项 只支持清除DLI表或者OBS表的数据。 示例 1 truncate table test PARTITION (class = 'test'); 父主题：
需要执行Truncate命令的DLI表或者OBS表的名称。 partcol1 需要删除的DLI表或者OBS表的分区名称。 注意事项 只支持清除DLI表或者OBS表的数据。 示例 1 truncate table test PARTITION (class = 'test'); 父主题：
SQL作业访问报错：DLI.0003: AccessControlException XXX。 解决措施 请检查OBS桶权限，确保你的账号有权限访问报错信息中提到的OBS桶。 如果没有，你需要联系OBS桶的管理员添加桶的访问权限。 父主题： SQL作业运维类
file_path 格式 无。 说明 文件路径，该路径是OBS路径。 父主题： 标示符
自定义函数相关语法 创建函数 删除函数 显示函数详情 显示所有函数 数据多版本相关语法 创建OBS表时开启数据多版本 修改表时开启或关闭数据多版本 设置多版本备份数据保留周期 查看多版本备份数据 恢复多版本备份数据 配置多版本过期数据回收站 清理多版本数据
自定义函数相关语法 创建函数 删除函数 显示函数详情 显示所有函数 数据多版本相关语法 创建OBS表时开启数据多版本 修改表时开启或关闭数据多版本 设置多版本备份数据保留周期 查看多版本备份数据 恢复多版本备份数据 配置多版本过期数据回收站 清理多版本数据 父主题： Spark SQL语法参考（即将下线）
表相关 创建OBS表 创建DLI表 删除表 查看表 修改表 分区相关 多版本备份恢复数据 表生命周期管理
file_path 格式 无。 说明 文件路径，该路径是OBS路径。 父主题： 标示符
导出查询结果 功能介绍 该API用于将SQL语句的查询结果导出到OBS对象存储中，只支持导出“QUERY”类型作业的查询结果。 该API为异步操作。 目前只支持导出数据到OBS中，且导出的路径必须指定到文件夹级别。OBS路径中不支持逗号，且其中的桶名不能以正则格式“.[0-9]+(
mode等信息。 调试 您可以在API Explorer中调试该接口。 URI URI格式： GET/v1.0/{project_id}/jobs/{job_id}/detail 参数说明 表1 URI 参数 参数名称 是否必选 参数类型 说明 project_id 是 String
DLI服务的数据可以存储在哪些地方？ OBS：SQL作业，Spark作业，Flink作业使用的数据均可以存储在OBS服务中，降低存储成本。 DLI：DLI内部使用的是列存的Parquet格式，即数据以Parquet格式存储。存储成本较高。 跨源作业可将数据存储在对应的服务中，目前
删除表。 语法格式 1 DROP TABLE [IF EXISTS] [db_name.]table_name; 关键字 OBS表：仅删除其元数据信息，不删除存放在OBS上的数据。 DLI表：删除其数据及相应的元数据信息。 参数说明 表1 参数说明 参数 描述 db_name 数据库名
删除表。 语法格式 1 DROP TABLE [IF EXISTS] [db_name.]table_name; 关键字 OBS表：仅删除其元数据信息，不删除存放在OBS上的数据。 DLI表：删除其数据及相应的元数据信息。 参数说明 表1 参数说明 参数 描述 db_name 数据库名
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
