检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
annotation 支持在SQL中设置set spark参数。 PowerBI、FineBI、SuperSet、DBT需要设置为true。 否 true kyuubi.engine.dli.set.conf.sql.suffix 支持在SQL中尾端设置set spark参数。 PowerBI、DBT需要设置为true。
通用队列操作OBS表如何设置AK/SK 如何查看DLI Spark作业的实际资源使用情况 将Spark作业结果存储在MySQL数据库中，缺少pymysql模块，如何使用python脚本访问MySQL数据库？ 如何在DLI中运行复杂PySpark程序？ 如何通过JDBC设置spark.sql
annotation 支持在SQL中设置set spark参数。 PowerBI、FineBI、SuperSet、DBT需要设置为true。 否 true kyuubi.engine.dli.set.conf.sql.suffix 支持在SQL中尾端设置set spark参数。 PowerBI、DBT需要设置为true。
返回DOUBLE类型的值。 返回值的类型与col类型相同。返回规则如下： col值为NULL时，该行不参与计算。 col为BOOLEAN类型时，不允许参与运算。 示例代码 计算所有商品的最高库存（items）。命令示例如下： select max(items) from warehouse;
查看需要确认的作业详情，确认在扣费时间段内是否有以下操作： 是否使用自建的队列。 是否执行SQL作业。 如果使用了按需的弹性资源池下的队列执行作业，默认的计费模式是按CU时计费。 计费详情可参考《数据湖探索价格详情》。 如果使用的是default队列执行作业，则按照扫描量计费。 计费详情可参考《数据湖探索价格详情》。
”参数。 图1 保存作业日志 是，则执行3。 否，则运行日志不会转储OBS桶，需要先执行2保存作业运行日志。 在作业运行界面勾选“保存作业日志”，在“OBS桶”参数选择存储运行日志的OBS桶。单击“启动”重新运行作业。作业重新运行完成后再执行3及后续步骤。 在Flink作业列表单
OpenSource作业，创建flink opensource sql作业，输入以下作业脚本，并提交运行。该作业脚本将DMS Kafka作为数据源，ClickHouse作业结果表。 如下脚本中的加粗参数请根据实际环境修改。 create table orders ( order_id
'2021-08-28'); 随后可以在编辑器下方的”执行历史（最近一天）”窗格中检查执行结果，或者点击左侧”作业管理”-> ”SQL作业”跳转到SQL作业记录中检查。 在执行SQL的时候配置Hudi参数： DLI不支持直接使用SET语句配置参数 点击”设置”，随后在”参数设置”一栏可以配置键和值，Hud
返回DOUBLE类型的值。 返回值的类型与col类型相同。返回规则如下： col值为NULL时，该行不参与计算。 col为BOOLEAN类型时，不允许参与运算。 示例代码 计算所有商品的最低库存（items）。命令示例如下： select min(items) from warehouse;
Avro Format 功能描述 Avro格式允许基于Avro schema 读取和写入Avro 数据。目前，Avro schema 从表schema 推导。 更多具体使用可参考开源社区文档：Avro Format。 支持的Connector Kafka Upsert Kafka
FileNotFoundException 用户通过CTAS创建hive表报schema解析异常错误 在DataArts Studio上运行DLI SQL脚本，执行结果报org.apache.hadoop.fs.obs.OBSIOException错误 使用CDM迁移数据到DLI，迁移作业日志上报U
示例：弹性资源池规格为192CUs，资源池中的队列执行作业占用了68CUs，计划缩容至64CUs。 执行缩容任务时，系统判断剩余124CUs，按64CUs的缩容步长执行缩容任务，剩余60CUs资源无法继续缩容，因此弹性资源池执行缩容任务后规格为128CUs。 创建弹性资源池 在左侧导航栏单击“资源管理
配置样例 名称 弹性资源池添加的队列名称。 dli_queue_01 类型 选择创建的队列类型。 执行SQL作业请选择SQL队列。 执行Flink或Spark作业请选择通用队列。 _ 执行引擎 SQL队列可以选择队列引擎为Spark或者HetuEngine。 _ 企业项目 选择对应的企业项目。
间进行权衡，Hudi提供了一个hoodie.parquet.small.file.limit配置来设置最小文件大小。用户可以将该配置设置为“0”，以强制新数据写入新的文件组，或设置为更高的值以确保新数据被“填充”到现有小的文件组中，直到达到指定大小为止，但其会增加摄取延迟。 为能
配置样例 名称 弹性资源池添加的队列名称。 dli_queue_01 类型 选择创建的队列类型。 执行SQL作业请选择SQL队列。 执行Flink或Spark作业请选择通用队列。 _ 执行引擎 SQL队列可以选择队列引擎为Spark或者HetuEngine。 _ 企业项目 选择对应的企业项目。
opensource sql作业，输入以下作业脚本，提交运行作业。 注意：创建作业时，在作业编辑界面的“运行参数”处，“Flink版本”选择“1.12”，勾选“保存作业日志”并设置保存作业日志的OBS桶，方便后续查看作业日志。如下脚本中的加粗参数请根据实际环境修改。 create
opensource sql作业，输入以下作业脚本，提交运行作业。 注意：创建作业时，在作业编辑界面的“运行参数”处，“Flink版本”选择“1.15”，勾选“保存作业日志”并设置保存作业日志的OBS桶，方便后续查看作业日志。如下脚本中的加粗参数请根据实际环境修改。 CREATE
务DEW中，如需允许DLI在执行作业时访问DEW数据，需要新建委托将DEW数据操作权限委托给DLI，允许DLI服务以您的身份访问DEW服务。 允许DLI在执行作业时访问DLI Catalog元数据，需要新建委托将DLI Catelog数据操作权限委托给DLI，允许DLI服务以您的身份访问DLI
BlackHole结果表 功能描述 BlackHole Connector允许接收所有输入记录，常用于高性能测试和UDF 输出，其不是实质性Sink。Blackhole结果表是系统内置的Connector。 例如，如果您在注册其他类型的Connector结果表时报错，但您不确定是
展示source到sink的数据处理流程。如图4所示。 格式化：对SQL语句进行格式化。 设为模板：将新创建的作业设置为作业模板。 主题设置：设置页面主题，可以设置字体大小，自动换行和页面风格。 帮助：跳转至帮助中心，为用户提供SQL语法参考。 简化流图 在OpenSource
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
