检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DLI表与OBS表有什么区别? DLI表表示数据存储在本服务内部,用户不感知数据存储路径。 OBS表表示数据存储在用户自己账户的OBS桶中,源数据文件由用户自己管理。 DLI表相较于OBS表提供了更多权限控制和缓存加速的功能,性能相较于外表性能更好,但是会收取存储费用。 父主题:
Boolean 是否开启作业日志。 开启:true 关闭:false 默认:false obs_bucket 否 String 当“log_enabled”为“true”时, 用户授权保存作业日志的OBS桶名。 smn_topic 否 String 当作业异常时,向该SMN主题推送告警信息。
LOAD数据到OBS外表报错:IllegalArgumentException: Buffer size too small. size 问题描述 在Spark SQL作业中,使用LOAD DATA命令导入数据到DLI表中时报如下错误: error.DLI.0001: Illeg
需要执行Truncate命令的DLI表或者OBS表的名称。 partcol1 需要删除的DLI表或者OBS表的分区名称。 注意事项 只支持清除DLI表或者OBS表的数据。 示例 1 truncate table test PARTITION (class = 'test'); 父主题:
需要执行Truncate命令的DLI表或者OBS表的名称。 partcol1 需要删除的DLI表或者OBS表的分区名称。 注意事项 只支持清除DLI表或者OBS表的数据。 示例 1 truncate table test PARTITION (class = 'test'); 父主题:
资源说明 成本说明 OBS 需要创建一个OBS桶将数据上传到对象存储服务OBS,为后面使用DLI完成数据分析做准备。 OBS的使用涉及以下几项费用: 存储费用:静态网站文件存储在OBS中产生的存储费用。 请求费用:用户访问OBS中存储的静态网站文件时产生的请求费用。 流量费用:用户使用自
SQL作业访问报错:DLI.0003: AccessControlException XXX。 解决措施 请检查OBS桶权限,确保你的账号有权限访问报错信息中提到的OBS桶。 如果没有,你需要联系OBS桶的管理员添加桶的访问权限。 父主题: SQL作业运维类
怎样将一个区域中的DLI表数据同步到另一个区域中? 可以使用OBS跨区域复制功能实现,步骤如下: 将区域一中的DLI表数据导出到自定义的OBS桶中。 具体请参考《数据湖探索用户指南》。 通过OBS跨区域复制功能将数据复制至区域二的OBS桶中。 具体请参考跨区域复制。 根据需要导入或使用对应的数据。
file_path 格式 无。 说明 文件路径,该路径是OBS路径。 父主题: 标示符
file_path 格式 无。 说明 文件路径,该路径是OBS路径。 父主题: 标示符
导出查询结果 功能介绍 该API用于将SQL语句的查询结果导出到OBS对象存储中,只支持导出“QUERY”类型作业的查询结果。 该API为异步操作。 目前只支持导出数据到OBS中,且导出的路径必须指定到文件夹级别。OBS路径中不支持逗号,且其中的桶名不能以正则格式“.[0-9]+(
path。 说明: 当前schame只支持obs和hdfs。 当schema为obs时,表示输出到对象存储服务OBS。注意,OBS必须是并行文件系统,不能是OBS桶。 示例:obs://bucketName/fileName,表示数据输出到obs的bucketName桶下的fileName目录中。
path。 说明: 当前schame只支持obs和hdfs。 当schema为obs时,表示输出到对象存储服务OBS。注意,OBS必须是并行文件系统,不能是OBS桶。 示例:obs://bucketName/fileName,表示数据输出到obs的bucketName桶下的fileName目录中。
与其他云服务的关系 与对象存储服务(OBS)的关系 对象存储服务(Object Storage Service)作为DLI的数据来源及数据存储,与DLI配合一起使用,关系有如下四种。 数据来源:使用DLI服务提供API,将OBS对应路径的数据导入到DLI。 具体API请参考《导入数据》。
mode等信息。 调试 您可以在API Explorer中调试该接口。 URI URI格式: GET/v1.0/{project_id}/jobs/{job_id}/detail 参数说明 表1 URI 参数 参数名称 是否必选 参数类型 说明 project_id 是 String
删除表。 语法格式 1 DROP TABLE [IF EXISTS] [db_name.]table_name; 关键字 OBS表:仅删除其元数据信息,不删除存放在OBS上的数据。 DLI表:删除其数据及相应的元数据信息。 参数说明 表1 参数说明 参数 描述 db_name 数据库名
删除表。 语法格式 1 DROP TABLE [IF EXISTS] [db_name.]table_name; 关键字 OBS表:仅删除其元数据信息,不删除存放在OBS上的数据。 DLI表:删除其数据及相应的元数据信息。 参数说明 表1 参数说明 参数 描述 db_name 数据库名
导入后的作业ID,如果“is_cover”为“false”,服务中有同名的作业,则该参数返回值为“-1”。 remark 否 String 导入作业的结果信息。 请求示例 从OBS导入Flink作业数据,如果导入的作业与服务已有的作业同名,是否覆盖服务中已有的作业。 { "zip_file":
注意事项 创建作业提交任务前,建议先开通云审计服务,用于记录与DLI服务相关的操作事件,便于日后的查询、审计和回溯。云审计服务支持的DLI操作列表详见使用CTS审计DLI服务。 关于如何开通云审计服务以及如何查看追踪事件,请参考《云审计服务快速入门》。 创建Flink OpenSource
contact DLI service. DLI.0002: FileNotFoundException: getFileStatus on obs://xxx: status [404] 解决方案 请排查在同一时间点是否还有另外作业对当前报错作业操作的表信息有删除操作。 DLI不允许