检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
double ); 支持 支持 创建OBS表 create table if not exists testDB.testTable2( id int, age int, money double ) LOCATION 'obs://bucketName/filePath' partitioned
可以实现队列到和公网的网络打通。 Spark SQL作业开发 使用Spark SQL作业分析OBS数据 介绍使用Spark SQL作业创建OBS表、导入OBS表数据、插入和查询OBS表数据等操作。 Flink OpenSource SQL作业开发 从Kafka读取数据写入到RDS
DLI中的Spark组件与MRS中的Spark组件有什么区别？ 怎样升级DLI作业的引擎版本 DLI的数据可存储在哪些地方 DLI是否支持导入其他租户共享OBS桶的数据？ 区域和可用区 全局变量的使用中，一个子账号是否可以使用其他子账号创建的全局变量 怎样获取DLI作业样例（Demo） DLI是否存在Apache
ss融合处理分析服务。用户不需要管理任何服务器，即开即用。支持标准SQL/Spark SQL/Flink SQL，支持多种接入方式，并兼容主流数据格式。数据无需复杂的抽取、转换、加载，使用SQL或程序就可以对云上CloudTable、RDS、DWS、CSS、OBS、ECS自建数据库以及线下数据库的异构数据进行探索。
out文件中的数据结果： 登录DLI管理控制台，选择“作业管理 > Flink作业”。 单击对应的Flink作业名称，选择“运行日志”，单击“OBS桶”，根据作业运行的日期，找到对应日志的文件夹。 进入对应日期的文件夹后，找到名字中包含“taskmanager”的文件夹进入，下载获取.out文件查看结果日志。
储等场景。 数据接入服务（Data Ingestion Service，简称DIS）为处理或分析流数据的自定义应用程序构建数据流管道，主要解决云服务外的数据实时传输到云服务内的问题。数据接入服务每小时可从数十万种数据源（如IoT数据采集、日志和定位追踪事件、网站点击流、社交媒体源
“EXTERNAL”：OBS表。 “VIEW”：VIEW视图。 data_type 否 String 数据类型，包括“csv”，“parquet”，“orc”，“json”和“avro”。 data_location 否 String 数据存储的路径，为OBS路径。 storage_properties
out文件中的数据结果： 登录DLI管理控制台，选择“作业管理 > Flink作业”。 单击对应的Flink作业名称，选择“运行日志”，单击“OBS桶”，根据作业运行的日期，找到对应日志的文件夹。 进入对应日期的文件夹后，找到名字中包含“taskmanager”的文件夹进入，下载获取.out文件查看结果日志。
请求消息 表2 请求参数 参数名称 是否必选 参数类型 说明 paths 是 Array of Strings 用户OBS对象路径列表，OBS对象路径为OBS对象URL。 group 是 String 所属资源分组名。 响应消息 表3 响应参数 参数名称 是否必选 参数类型 说明
ss融合处理分析服务。用户不需要管理任何服务器，即开即用。支持标准SQL/Spark SQL/Flink SQL，支持多种接入方式，并兼容主流数据格式。数据无需复杂的抽取、转换、加载，使用SQL或程序就可以对云上CloudTable、RDS、DWS、CSS、OBS、ECS自建数据库以及线下数据库的异构数据进行探索。
请求消息 表2 请求参数 参数名称 是否必选 参数类型 说明 paths 是 Array of Strings 用户OBS对象路径列表，OBS对象路径为OBS对象URL。 group 是 String 所属资源分组名。 响应消息 表3 响应参数 参数名称 是否必选 参数类型 说明
OpenSource SQL作业时，在作业编辑界面的“运行参数”处，“Flink版本”需要选择“1.15”，勾选“保存作业日志”并设置保存作业日志的OBS桶，方便后续查看作业日志。 认证用的username和password等硬编码到代码中或者明文存储都有很大的安全风险，建议使用DEW管理凭
登录DLI管理控制台，选择“作业管理 > Flink作业”。 单击作业名称，选择“运行日志”。 控制台只展示最新的运行日志，更多日志信息请查看保存日志的OBS桶。 在日志中搜索依赖包信息。 在日志中搜索“Classpath:”即可查看相关依赖包信息。 Flink 1.12依赖包 表4 Flink
请求消息 表2 请求参数 参数名称 是否必选 参数类型 说明 paths 是 Array of strings 用户OBS对象路径列表，OBS对象路径为OBS对象URL。 group 是 String 所属资源分组名。 响应消息 表3 响应参数 参数名称 是否必选 参数类型 说明
Spark SQL语法参考（即将下线） 批作业SQL常用配置项说明 批作业SQL语法概览 Spark开源命令支持说明 数据库 创建OBS表 创建DLI表 删除表 查看表 修改表 分区表相关 导入数据 插入数据 清空数据 导出查询结果 多版本备份恢复数据 表生命周期管理 跨源连接HBase表
"last_access_time": 1579520179000, "locations": [ "obs://test/partition" ] }, {
contact DLI service. DLI.0002: FileNotFoundException: getFileStatus on obs://xxx: status [404] 解决方案 请排查在同一时间点是否还有另外作业对当前报错作业操作的表信息有删除操作。 DLI不允许
认即可。 所属队列：选择步骤1：创建队列中创建的队列。 Flink版本：选择1.12。 保存作业日志：勾选。 OBS桶：选择保存作业日志的OBS桶，根据提示进行OBS桶权限授权。 开启Checkpoint：勾选。 Flink作业编辑框中输入具体的作业SQL，本示例作业参考如下。SQL中加粗的参数需要根据实际情况修改。
"tm_cus": 1, "tm_slot_num": 1, "log_enabled": true, "obs_bucket": "bucketName", "smn_topic": "topic", "main_class": "org.apache
使用须知 Flink作业访问DIS，OBS和SMN数据源，无需创建跨源连接，可以直接访问。 推荐使用增强型跨源连接打通DLI与数据源之间的网络。 跨源分析开发方式 表1提供DLI支持的数据源对应的开发方式。 表1 跨源分析语法参考 服务名称 开发SQL作业 开发Spark jar作业
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
