检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
对已创建的上传作业进行鉴权（废弃） 功能介绍 该API用于检查已创建的上传作业是否合法，并授权合法作业上传数据至DLI。 当前接口已废弃，不推荐使用。 URI URI格式： POST /v1.0/{project_id}/uploader/authentication 参数说明 表1
TRUE)。 当OBS桶目录下有文件夹和文件同名时，加载数据会优先指向该路径下的文件而非文件夹。建议创建OBS对象时，在同一级中不要出现同名的文件和文件夹。 导入分区数据 DLI提供导入数据的接口。您可以使用该接口将存储在OBS中的数据导入到已创建的DLI表或者OBS表指定分区中。示例代码如下：
OBS表压缩率较高怎么办？ 当您在提交导入数据到DLI表的作业时，如果遇到Parquet/Orc格式的OBS表对应的文件压缩率较高，超过了5倍的压缩率，您可以通过调整配置来优化作业的性能。 具体方法：在submit-job请求体conf字段中配置“dli.sql.files.ma
path = "obs://obs-sink/car_infos", encode = "parquet", ak = "{{myAk}}", sk = "{{mySk}}" ); 数据最终在OBS中的存储目录结构为：obs://obs-sink/car
分区字段。 obs_path OBS存储路径。 注意事项 所要修改位置的表分区必须是已经存在的，否则将报错。 “partition_specs”中的参数默认带有“( )”，例如：PARTITION (dt='2009-09-09',city='xxx')。 所指定的新的OBS路径必须是已经存在的绝对路径，否则将报错。
file：用户文件 modelfile：用户AI模型文件 obs_jar_paths：对应资源包的OBS路径，参数构成为：{bucketName}.{obs域名}/{jarPath}/{jarName}。 例如："https://bucketname.obs.cn-north-1.myhuaweicloud
SQL作业相关 数据库相关 表相关 作业相关 父主题： Java SDK
Spark作业访问OBS数据时报ResponseCode: 403和ResponseStatus: Forbidden错误 问题现象 Spark程序访问OBS数据时上报如下错误。 Caused by: com.obs.services.exception.ObsException:
Spark jar 如何读取上传文件 Spark可以使用SparkFiles读取 –-file中提交上来的文件的本地路径，即：SparkFiles.get("上传的文件名")。 Driver中的文件路径与Executor中获取的路径位置是不一致的，所以不能将Driver中获取到的
上传数据相关API（废弃） 对已创建的上传作业进行鉴权（废弃） 父主题： 历史API
Column("c11", new DecimalTypeInfo(25,5), "test for c11"); 创建OBS表 DLI提供创建OBS表的接口。您可以使用该接口创建数据存储在OBS的表。示例代码如下： 1 2 3 4 5 6 7 8 9 10 11 12 13 14
关联OBS桶中嵌套的JSON格式数据如何创建表 如果需要关联OBS桶中嵌套的JSON格式数据，可以使用异步模式创建表。 以下是一个示例的建表语句，展示了如何使用 JSON 格式选项来指定 OBS 中的路径： create table tb1 using json options(path
"UPLOADING"表示正在上传。 "READY"表示资源包已上传。 "FAILED"表示资源包上传失败。 underlying_name 否 String 资源包在队列中的名字。 is_async 否 Boolean 是否异步上传资源包。 请求示例 从OBS上传jar包至DLI，并定义分组名称为gatk。
"UPLOADING"表示正在上传。 "READY"表示资源包已上传。 "FAILED"表示资源包上传失败。 underlying_name 否 String 资源包在队列中的名字。 is_async 否 Boolean 是否异步上传资源包。 请求示例 从OBS上传python文件至DLI，并定义分组名称为gatk。
"UPLOADING"表示正在上传。 "READY"表示资源包已上传。 "FAILED"表示资源包上传失败。 underlying_name 否 String 资源包在队列中的名字。 is_async 否 Boolean 是否异步上传资源包。 请求示例 从OBS上传用户文件至DLI，并定义分组名称为gatk。
JAR：用户jar文件 PyFile：用户Python文件 File：用户文件 ModelFile：用户AI模型文件 OBS路径 选择对应程序包的OBS路径。 说明： 程序包需提前上传至OBS服务中保存。 只支持选择文件。 分组设置 可选择“已有分组”，“创建新分组”或“不分组”。 分组名称 选择“已有分组”：可选择已有的分组。
单击操作列“编辑”。 编辑“应用程序”，选择1上传的OBS地址。 图11 配置应用程序 Spark 3.3以下版本： 分别上传Jar包到OBS和DLI下。 登录OBS控制台，将生成的Jar包文件上传到OBS路径下。 将Jar包文件上传到DLI的程序包管理中，方便后续统一管理。 登录DLI管理控制台，单击“数据管理
时，在connector中设置账号、密码等属性。 Flink Jar 使用DEW获取访问凭证读写OBS 访问OBS的AKSK为例介绍Flink Jar使用DEW获取访问凭证读写OBS的操作指导。 用户获取Flink作业委托临时凭证 DLI提供了一个通用接口，可用于获取用户在启动F
数据库相关 前提条件 已参考Java SDK概述配置Java SDK环境。 已参考初始化DLI客户端完成客户端DLIClient的初始化，参考队列相关完成队列创建等操作。 创建数据库 DLI提供创建数据库的接口。您可以使用该接口创建数据库，示例代码如下： 1 2 3 4 5 6 7
DLI Flink作业提交运行后（已选择保存作业日志到OBS桶），提交运行失败的情形（例如：jar包冲突），有时日志不会写到OBS桶中 DLI Flink作业提交或运行失败时，对应生成的作业日志保存方式，包含以下三种情况： 提交失败，只会在submit-client下生成提交日志。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
