检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
用户通过CTAS创建hive表报schema解析异常错误 目前DLI支持hive语法创建TEXTFILE、SEQUENCEFILE、RCFILE、ORC、AVRO、PARQUET文件类型的表。 如果用户CTAS建表指定的文件格式为AVRO类型，而且直接使用数字作为查询语句（SELECT）的输入，如“CREATE
创建SQL作业的API执行超过时间限制，运行超时报错 问题现象 DLI上调用“提交SQL作业”API运行超时，报如下错误信息： There are currently no resources tracked in the state, so there is nothing to
仅支持获取AK、SK、SecurityToken。 获取到AK、SK、SecurityToken后，请参考如何使用凭据管理服务替换硬编码的数据库账号密码查询凭据。 约束限制 仅支持Flink1.15版本使用委托授权访问临时凭证： 在创建作业时，请配置作业使用Flink1.15版本
按需计费的弹性资源池，如果没提交作业运行就不计费？ 按需计费的弹性资源池默认勾选专属资源模式，自创建起按自然小时收费。无作业运行仍正常收费。 按实际CU进行计费，秒级计费，按小时结算。按需弹性资源池创建成功一小时后方可删除。 父主题： 计费相关问题
查询增强型跨源连接列表 功能介绍 该API用于查询该用户已创建的增强型跨源连接列表。 调试 您可以在API Explorer中调试该接口。 URI URI格式 GET /v2.0/{project_id}/datasource/enhanced-connections 参数说明 表1
时间格式为unix时间戳，单位：毫秒。 若start_time为空，则查询end_time前七天到end_time的数据（end_time最大不能大于当前时间30天）。 查询当前时间点前15天到当前时间点的数据（start_time和end_time同时为空）。 end_time 否 Long end_
添加Python包后，找不到指定的Python环境 添加Python3包后，找不到指定的Python环境。 可以通过在conf文件中，设置spark.yarn.appMasterEnv.PYSPARK_PYTHON=python3，指定计算集群环境为Python3环境。 目前，新
如何在DLI中运行复杂PySpark程序？ 数据湖探索（DLI）服务对于PySpark是原生支持的。 对于数据分析来说Python是很自然的选择，而在大数据分析中PySpark无疑是不二选择。对于JVM语言系的程序，通常会把程序打成Jar包并依赖其他一些第三方的Jar，同样的Py
DLI跨源连接报错找不到子网怎么办？ 问题现象 跨源连接创建对等连接失败，报错信息如下： Failed to get subnet 2c2bd2ed-7296-4c64-9b60-ca25b5eee8fe. Response code : 404, message : {"code":"VPC
如果target未包含指定分隔符，则返回目标字符串。 separator VARCHAR 指定的分隔符，当前仅支持单字符分隔。 示例 准备测试输入数据 表2 测试源表disSource数据和分隔符 target（STRING） separator （VARCHAR） test-flink - flink -
发送如下测试数据： {"target":"test-flink","separator":"-"} {"target":"flink","separator":"-"} {"target":"one-two-ww-three","separator":"-"} 即数据如下： 表2
发送如下测试数据： {"target":"test-flink","separator":"-"} {"target":"flink","separator":"-"} {"target":"one-two-ww-three","separator":"-"} 即数据如下： 表2
全局共享模式可以比作“打车”，您只需为实际使用的数据量付费。 这种模式适合于不确定数据量大小或仅需要偶尔进行数据处理的场景，按需使用资源，无需预先购买或预留资源。 弹性资源池扩缩容 当弹性资源池中添加队列、删除队列时，会触发弹性资源扩缩容。 而弹性资源池缩容可能会触发缩容含有shuffle数据的节点，会导致Spark
查看队列的基本信息 本节操作介绍在管理控制台如何查看队列的基本信息，包括队列的引擎类型和引擎版本。 查看队列的基本信息 登录DLI管理控制台。 选择“资源管理 > 队列管理”。 进入队列列表页面，选择您需要查看的队列。 在列表页面的右上方单击可以自定义显示列，并设置表格内容显示规则、操作列显示规则。
登录到DIS管理控制台，在左侧菜单栏选择“通道管理”。检查Flink作业SQL语句中的DIS通道是否存在。 如果Flink作业中的DIS通道还未创建，请参见《数据接入服务用户指南》中“开通DIS通道”章节。 确保创建的DIS通道和Flink作业处于统一区域。 如果DIS通道已创建，则检查确保DIS通道和Flink流作业是否处于同一区域。
fileName为需要访问的文件名。 本节示例适用于Flink 1.12版本。Flink 1.15版本的Jar作业开发指导请参考Flink Jar写入数据到OBS开发指南。 配置文件使用方法 方案一：直接在main函数里面加载文件内容到内存，然后广播到各个taskmanager，这种方式适合那种需要提前加载的少量变量。
Flink 1.15 Jar 读取用户自定义配置文件的方式相比Flink 1.12存在差异。详细操作说明请参考使用Flink Jar写入数据到OBS开发指南。 Flink 1.15 Jar 程序，采用反向类加载机制（child-first），可通过优化参数设置某些依赖包由父类加载器加载：parent
fields：适用于所有数据类型 fields-scores：适用于sorted set数据类型 array：适用于list、set、sorted set数据类型 array-scores：适用于sorted set数据类型 map：适用于hash、sorted set数据类型 schem
Opensource SQL使用DEW管理访问凭据 Flink Opensource SQL场景使用DEW管理和访问凭据的操作指导，将Flink作业的输出数据写入到Mysql或DWS时，在connector中设置账号、密码等属性。 Flink Jar 使用DEW获取访问凭证读写OBS 访问OBS的AKSK为例介绍Flink
最后一个ddl语句执行时间，（单位：秒（s））。 num_rows 否 Long 该分区数据总行数。 num_files 否 Long 分区文件数。 total_size 否 Long 该分区总的数据大小（单位：字节）。 请求示例 无 响应示例 { "is_success":
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
