检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
show() 操作结果 提交Spark作业 将写好的python代码文件上传至DLI中。 控制台操作请参考《数据湖探索用户指南》。API操作请参考《数据湖探索API参考》>《上传资源包》。 在Spark作业编辑器中选择对应的Module模块并执行Spark作业。 控制台操作请参考《数据湖
提交SQL作业时，返回“unsupported media Type”信息 创建SQL作业的API执行超过时间限制，运行超时报错 API接口返回的中文字符为乱码，如何解决？
IntelliJ IDEA为进行应用开发的工具，版本要求使用2019.1或其2019.1往后的版本。 安装Maven 开发环境的基本配置（下载并安装 Maven）。用于项目管理，贯穿软件开发生命周期。 开发流程 DLI下UDAF函数开发流程参考如下： 图1 UDAF开发流程 表2 开发流程说明
否从保存点恢复。 勾选“触发保存点”表示创建保存点。不勾选“触发保存点”表示不创建保存点。默认不创建保存点。 保存点的生命周期从触发保存点并停止作业开始，重启作业后结束。保存点在重启作业后自动删除，不会一直保存。 停止作业过程中，在作业列表的“状态”列中将显示作业状态，说明如下：
show() 操作结果 提交Spark作业 将写好的python代码文件上传至DLI中。 控制台操作请参考《数据湖探索用户指南》。API操作请参考《数据湖探索API参考》>《上传资源包》。 在Spark作业编辑器中选择对应的Module模块并执行Spark作业。 控制台操作请参考《数据湖
项目编号，用于资源隔离。获取方式请参考获取项目ID。 请求消息 表2 请求参数 参数名称 是否必选 参数类型 说明 name 是 String 连接名称。 名称只能包含数字、英文字母、下划线。不能为空。 输入长度不能超过64个字符。 dest_vpc_id 是 String 对应服务的vpc的ID。具体请参考《虚拟私有云API参考》。
据流管道，主要解决云服务外的数据实时传输到云服务内的问题。数据接入服务每小时可从数十万种数据源（如IoT数据采集、日志和定位追踪事件、网站点击流、社交媒体源等）中连续捕获、传送和存储数TB数据。DIS的更多信息，请参见《数据接入服务用户指南》。 语法格式 create table
在“创建程序包”对话框，参见表1设置相关参数。 图1 创建程序包 表1 参数说明 参数名称 描述 包类型 支持的包类型如下： JAR：用户jar文件 PyFile：用户Python文件 File：用户文件 ModelFile：用户AI模型文件 OBS路径 选择对应程序包的OBS路径。 说明： 程序包需提前上传至OBS服务中保存。
properties对应的程序包 创建Flink Jar作业并运行。 详情参考创建Flink Jar作业。在应用程序中选择步骤2中创建的Flink Jar文件，在其他依赖文件中选择步骤3中创建的properties文件，并指定主类。 表3 创建Flink Jar作业参数说明 参数 说明
新建Maven工程，配置pom文件 IntelliJ IDEA 参考操作步骤说明，编写UDTF函数代码。 2 编写UDTF函数代码 3 调试，编译代码并导出Jar包 4 上传Jar包到OBS OBS控制台 将生成的UDTF函数Jar包文件上传到OBS目录下。 5 创建DLI的UDTF函数 DLI控制台
rownum <=1 | rownum < 2)： 优化器通过 rownum = 1 | rownum <=1 | rownum < 2 来识别查询能否被翻译成窗口去重。 注意事项 Flink 只支持在滚动窗口、滑动窗口和累积窗口的窗口表值函数后进行窗口去重 窗口去重只支持根据事件时间属性进行排序
该示例是从HBase数据源中读取数据，并写入到Print结果表中，其具体步骤参考如下（该示例使用的HBase版本1.3.1和2.1.1和2.2.3）： 参考增强型跨源连接，在DLI上根据HBase所在的虚拟私有云和子网创建相应的增强型跨源，并绑定所要使用的Flink作业队列。参考
ROW 不支持 示例 该示例是从HBase数据源中读取数据，并写入到Print结果表中（该示例使用的HBase版本2.2.3）： 参考增强型跨源连接，在DLI上根据HBase所在的虚拟私有云和子网创建相应的增强型跨源，并绑定所要使用的Flink作业队列。参考“修改主机信息”章节描
DLI功能增强，保证表刷新操作能对缓存生效，提高程序健壮性。 ADD PARTITION新增支持使用类型化文字 说明： Spark2.4.x： 在Spark 2.4.x版本中，使用ADD PARTITION时，如果使用类型化文字（例如date'2020-01-01'），分区值会被解析为字符串值date'20
服务韧性 DLI通过流量限制、跨AZ容灾、备份恢复等技术方案，保障数据的持久性和可靠性。 流量限制：DLI通过设置流量控制机制，防止服务过载并保持服务的稳定性。 跨AZ容灾：DLI云服务采用跨可用区容灾部署，减少单点故障的风险，提高系统的可用性和弹性。 备份恢复：DLI自动化的备份
参数类型 说明 id 否 Long 扩缩容计划的ID编号。 plan_name 否 String 队列扩缩容计划名称，名称只能包含数字、英文字母和下划线，但不能是纯数字，且不能以下划线开头。 target_cu 否 Integer 队列扩缩容计划CU的目标值。 start_hour
求再进行购买。 优先推荐使用弹性资源池队列，提高资源使用的灵活性和资源利用效率。购买弹性资源池并在弹性资源池中添加队列请参考创建弹性资源池并添加队列。 用户首次使用子账号创建队列时，需要先使用主账号登录控制台，在DLI的数据库中保持记录，才能创建队列。 新队列第一次运行作业时，需要一定的时间，通常为6~10分钟。
在“创建数据库”页面，参见表1输入数据库名称和描述信息。 图1 库表管理-创建数据库 表1 参数说明 参数名称 描述 数据库名称 数据库名称只能包含数字、英文字母和下划线，但不能是纯数字，且不能以下划线开头。 数据库名称大小写不敏感且不能为空。 输入长度不能超过128个字符。 说明： “defau
Management，简称IAM）细粒度鉴权，可以通过在IAM创建策略来管理DLI的权限控制。两种权限控制机制可以共同使用，没有冲突。 发布区域：全部 创建用户并授权使用DLI DLI自定义策略 DLI常用操作与系统权限关系 OBS 2.0支持 弹性资源池和队列 使用DLI提交作业前，您需要为提交作业准备所需的计算资源。
JSON函数 JSON函数使用SQL标准的ISO/IEC TR 19075-6中描述的JSON路径表达式。它们的语法受到ECMAScript的启发并采用了ECMAScript的许多特性，但既不是其子集，也不是其超集。 路径表达式有两种，一种是宽松模式，另一种是严格模式。当省略时，它默认为
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
