检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
理页面找到对应模板进行SQL查询和修改。 具体操作为：选择“作业模板 > SQL模板 > 自定义模板”，在对应模板的操作列，单击“执行”会跳转到SQL语句编辑器，修改查询条件可以很方便地查找对应的数据。 select driverID, carNumber, sum(isRapidlySpeedup)
EXCEPT_KEY] 在解析消息体时，是否要包含消息键字段。 取值如下： ALL（默认值）：所有定义的字段都存放消息体（Value）解析出来的数据。 EXCEPT_KEY：除去key.fields定义字段，剩余的定义字段可以用来存放消息体（Value）解析出来的数据。 sink.partitioner
obs/logs/作业id开头的目录”为固定格式。 在作业列表中，单击对应的作业名称，然后在“运行日志”页签，可以单击页面提供的OBS链接跳转至对应的路径下。 关于如何创建Flink SQL作业或者Flink Jar作业，请参考《数据湖探索用户指南》。 父主题： Flink作业咨询类
json_path) 表2 参数说明 参数 数据类型 说明 json_string STRING 需要解析的JSON对象，使用字符串表示。 json_path STRING 解析JSON的路径表达式，使用字符串表示。 目前path支持如下表达式参考下表表3。 表3 json_path参数支持的表达式
Spark作业模板的创建方法是在创建Spark作业时，可直接将配置完成的作业信息设置为模板。 在DLI管理控制台的左侧导航栏中，单击“作业模板”>“Spark模板”，页面跳转至Spark作业页面。 参考创建Spark作业配置作业参数。 作业编辑完成后，单击“设为模板”。 输入模板名称和描述信息。 设置模板的分组信息。便于模板的统一管理。
表示永久不失效。 compaction.async.enabled 否 false Boolean 是否开启在线压缩。 true：开启 false：关闭 建议关闭在线压缩，提升性能。但是调度compaction.schedule.enabled仍然建议开启，之后可通过离线异步压缩，执行阶段性生成的压缩plan。
partitions参数值来解决缓冲区不足问题。具体该参数设置步骤如下： 登录DLI管理控制台，单击“作业管理 > SQL作业”，对应SQL作业行的操作列，单击“编辑”按钮，跳转到“SQL编辑器”。 在“SQL编辑器”中，单击“设置”，参考如下图配置添加参数。 图1 设置参数 重新执行作业。 父主题： SQL作业运维类
设置作业运行超时时间，超时取消。单位：秒。 跳转至SparkUI查看SQL语句执行进程 SQL编辑器页面提供了跳转至SparkUI查看SQL语句执行进程的功能。 目前DLI配置SparkUI只展示最新的100条作业信息。 default队列下运行的作业或者该作业为同步作业时不支持跳转至SparkUI查看SQL语句执行进程。
支持修改非分区表或分区表的列注释 修改非分区表或分区表的列注释。 支持统计SQL作业的CPU消耗 支持在控制台查看“CPU累计使用量”。 支持容器集群Spark日志跳转查看 需要在容器查看日志。 支持动态加载UDF（公测） 无需重启队列UDF即可生效。 Spark UI支持火焰图 Spark UI支持绘制火焰图。
列的消息。 创建消息通知主题后，只有在订阅队列上创建的Spark作业失败时才会收到消息通知。 图2 创建主题成功 单击图2中“主题管理”，跳转至消息通知服务“主题管理”页面。 图3 主题管理 在对应主题的“操作”列中，单击“添加订阅”，选择“协议”，确定订阅方式。 如果选择“短信
'%Y/%m/%d');-- 2020/07/22 date_parse(string, format) → timestamp 按format格式解析日期字面量。 select date_parse('2020/07/20', '%Y/%m/%d');-- 2020-07-20 00:00:00
EXCEPT_KEY] 在解析消息体时，是否要包含消息键字段。 取值如下： ALL（默认值）：所有定义的字段都存放消息体（Value）解析出来的数据。 EXCEPT_KEY：除去key.fields定义字段，剩余的定义字段可以用来存放消息体（Value）解析出来的数据。 scan.startup
支持修改非分区表或分区表的列注释 修改非分区表或分区表的列注释。 支持统计SQL作业的CPU消耗 支持在控制台查看“CPU累计使用量”。 支持容器集群Spark日志跳转查看 需要在容器查看日志。 支持动态加载UDF（公测） 无需重启队列UDF即可生效。 Spark UI支持火焰图 Spark UI支持绘制火焰图。
查询SQL作业日志 登录DLI管理控制台，单击“作业管理 > SQL作业”。 选择待查询的SQL作业，单击操作列的“更多 > 归档日志”。 系统自动跳转至DLI作业桶日志路径下。 选择需要查看的日期，单击操作列的“ 下载”，下载SQL作业日志到本地。 图3 下载SQL作业日志 父主题： 使用DLI提交SQL作业
查询Spark作业日志 登录DLI管理控制台，单击“作业管理 > Spark作业”。 选择待查询的Spark作业，单击操作列的“更多 > 归档日志”。 系统自动跳转至DLI作业桶日志路径下。 选择需要查看的日期，单击操作列的“下载”下载Spark日志到本地。 图3 下载Spark作业日志 父主题： 使用DLI提交Spark作业
在DLI控制台创建数据库和表 数据库是按照数据结构来组织、存储和管理数据的建立在计算机存储设备上的仓库。 表是数据库最重要的组成部分之一。表是由行与列组合成的。每一列被当作是一个字段。每个字段中的值代表一种类型的数据。 数据库是一个框架，表是其实质内容。一个数据库包含一个或者多个表。
并且长度为1～64个字符。 描述 模板的相关描述，且长度为0～512个字符。 操作 “创建作业”：直接在该模板下创建作业，创建完后，系统跳转到“作业管理”下的作业编辑页面。 Flink OpenSource SQL样例模板 Flink OpenSource SQL样例模板列表显示已有的Flink
'2021-08-28'); 随后可以在编辑器下方的”执行历史（最近一天）”窗格中检查执行结果，或者点击左侧”作业管理”-> ”SQL作业”跳转到SQL作业记录中检查。 在执行SQL的时候配置Hudi参数： DLI不支持直接使用SET语句配置参数 点击”设置”，随后在”参数设置”一
NET SDK视频指导 SDK列表提供了DLI云服务支持的SDK列表，您可以在GitHub仓库查看SDK更新历史、获取安装包以及查看指导文档。 在线生成SDK代码 【样例】 API Explorer能根据需要动态生成SDK代码功能，降低您使用SDK的难度，推荐使用。 您可以在API E
前示例为：kafkatopic。 数据格式 根据实际情况选择当前消息格式。本示例选择为：CDC（DRS_JSON），以DRS_JSON格式解析源数据。 偏移量参数 从Kafka拉取数据时的初始偏移量。本示例当前选择为：最新。 最新：最大偏移量，即拉取最新的数据。 最早：最小偏移量，即拉取最早的数据。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
