检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
由LakeFormation提供的元数据服务，权限配置详见LakeFormation文档。 示例 create table if not exists parquet_table0 (id int,name string,price double) using parquet location 'obs://b
query参数 参数名称 是否必选 参数类型 说明 object 是 String 授权对象，和赋权API中的“object”对应。 "jobs.flink.flink作业ID"，查询指定的作业。 "groups.程序包组名"，查询指定的程序包组。 "resources.程序包名"，查询指定程序包。
tore.jks文件传入OBS中。 具体方式请参考客户端SSL加密功能使用说明。 端口请注意使用KafKa服务配置中设置的ssl.port端口，默认值为9093。 with参数中security.protocol请设置为SSL。 MRS集群kafka服务配置中，设置ssl.mode
Boolean 是否开启作业日志。 开启：true 关闭：false 默认：false obs_bucket 否 String 当“log_enabled”为“true”时，用户授权保存日志的OBS桶名。 smn_topic 否 String 当作业异常时，向该SMN主题推送告警信息。
zip_file 否 Array of Strings 导出的作业zip包文件名，保存在OBS上。 请求示例 导出ID为100的作业至OBS。 { "obs_dir": "obs-test", "is_selected": true, "job_selected":
您可以在API Explorer中调试该接口。 URI URI格式 POST /v1.0/{project_id}/streaming/jobs/run 参数说明 表1 URI参数说明 参数名称 是否必选 参数类型 说明 project_id 是 String 项目编号，用于资源隔离。获取方式请参考获取项目ID。
您可以在API Explorer中调试该接口。 URI URI格式 POST /v1.0/{project_id}/streaming/jobs/stop 参数说明 表1 URI参数说明 参数名称 是否必选 参数类型 说明 project_id 是 String 项目编号，用于资源隔离。获取方式请参考获取项目ID。
为什么在DLI控制台中查询不到表？ OBS表压缩率较高怎么办？ 字符码不一致导致数据乱码怎么办？ 删除表后再重新创建同名的表，需要对操作该表的用户和项目重新赋权吗？ DLI分区内表导入的文件不包含分区列的数据，导致数据导入完成后查询表数据失败怎么办？ 创建OBS外表，由于OBS文件中的某字段存在换行符导致表字段数据错误怎么办？
10作业程序开发的样例代码可以参考使用Flink Jar写入数据到OBS开发指南。 2020年12月之后创建的新队列才能使用Flink 1.10依赖包。 表5 Flink 1.10依赖包 依赖包名称 bcpkix-jdk15on-1.60.jar esdk-obs-java-3.20.6.1.jar java-xmlbuilder-1
SQL作业开发类 SQL作业使用咨询 如何合并小文件 DLI如何访问OBS桶中的数据 创建OBS表时怎样指定OBS路径 关联OBS桶中嵌套的JSON格式数据如何创建表 count函数如何进行聚合 怎样将一个区域中的DLI表数据同步到另一个区域中？ SQL作业如何指定表的部分字段进行表数据的插入
SQL作业运维类 用户导表到OBS报“path obs://xxx already exists”错误 对两个表进行join操作时，提示：SQL_ANALYSIS_ERROR: Reference 't.id' is ambiguous, could be: t.id, t.id
ress表示子作业的运行进度，sub_job_id展示。 sub_jobs 否 Array of Object 正在运行作业的子作业的详细信息，一个作业可能包含多个子作业。具体请参考表3。 表3 sub_jobs参数说明 参数名称 是否必选 参数类型 说明 id 否 Integer
Boolean 是否开启作业日志。 开启：true 关闭：false 默认：false obs_bucket 否 String 当“log_enabled”为“true”时, 用户授权保存作业日志的OBS桶名。 smn_topic 否 String 当作业异常时，向该SMN主题推送告警信息。
//指定写入的是Hudi表 'path' = 'obs://bucket/path/hudi_sink_table', //指定Hudi表的存储路径
台的在线数据处理数据库，为用户提供海量数据挖掘和分析服务。DWS的更多信息，请参见《数据仓库服务管理指南》。 前提条件 请务必确保您的账户下已在数据仓库服务（DWS）里创建了DWS集群。 如何创建DWS集群，请参考《数据仓库服务管理指南》中“创建集群”章节。 请确保已创建DWS数据库表。
运行Spark作业报java.lang.AbstractMethodError Spark作业访问OBS数据时报ResponseCode: 403和ResponseStatus: Forbidden错误 有访问OBS对应的桶的权限，但是Spark作业访问时报错 verifyBucketExists
作业配置的每个TaskManager所占CU数量。 单TM Slot数 作业配置的每个TaskManager Slot数量。 OBS桶 作业配置了OBS桶显示。当勾选“开启Checkpoint”和“保存作业日志”参数后，用于保存Checkpoint和作业运行日志。 保存作业日志 开启或关闭。
并且促使各个厂商以及研究机构将该项技术推向极限。 本示例将演示DLI直接对存储在OBS中的TPC-H数据集进行查询的操作，DLI已经预先生成了100M的TPC-H-2.18的标准数据集，已将数据集上传到了OBS的tpch文件夹中，并且赋予了只读访问权限，方便用户进行查询操作。 TPC-H的测试和度量指标
first; --修改分区表的存储位置（需要先在obs上创建目录，执行语句后，无法查到之前插入的那条数据） alter table altercolumn4 partition (c=500) set Location 'obs://bucket/user/hive/warehouse/c500';
Jar作业开发指南 使用Spark Jar作业读取和查询OBS数据 使用Spark作业访问DLI元数据 使用Spark作业跨源访问数据源 Spark Jar 使用DEW获取访问凭证读写OBS 获取Spark作业委托临时凭证用于访问其他云服务
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
