检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
查看弹性资源池的基本信息 资源池创建完成后您可以通过管理控制台查看和管理您的弹性资源池。 本节操作介绍在管理控制台如何查看弹性资源池基本信息,包括弹性资源池的VPC网段、IPv6网段、创建时间等信息。 查看弹性资源池的基本信息 登录DLI管理控制台。 选择“资源管理 > 弹性资源池”。
MRS Kafka输出流 功能描述 DLI将Flink作业的输出数据输出到Kafka中。 Apache Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统,具有高吞吐量、内置分区、支持数据副本和容错的特性,适合在大规模消息处理场景中使用。MRS基于Apache
表的列名列表,多列之间使用逗号分隔。 doris.filter.query -- 否 过滤读取数据的表达式,此表达式透传给 Doris。Doris 使用此表达式完成源端数据过滤。 示例 该示例是从Doris源表读取数据,并输入到 print connector。 参考增强型跨源连接,在DLI上根
Once模式保证每条数据只被消费一次,At Least Once模式每条数据至少被消费一次,请依据业务情况选择。 勾选“异常自动恢复”和“从Checkpoint恢复”,根据自身业务情况选择重试次数。 配置“脏数据策略”,依据自身的业务逻辑和数据特征选择忽略、抛出异常或者保存脏数据。 选择“运行队列”。提交并运行作业。
22条标准的TPC-H查询语句,可以满足用户大部分的TPC-H需求场景测试,TPC-H样例说明请参考DLI预置的SQL模板中TPC-H样例数据说明。 在“SQL模板”页面右上角,单击“设置”可以选择是否按照分组展示模板。 如果选择“按分组展示”,有以下三种展示方式:展开第一个分组、全部展开、全部收起。
上传jar类型分组资源(废弃) 功能介绍 该API用于在project下上传jar类型分组资源。 上传同名资源模块时,新模块将会覆盖旧模块。 当前接口已废弃,不推荐使用。 调试 您可以在API Explorer中调试该接口。 URI URI格式: POST /v2.0/{proj
上传pyfile类型分组资源(废弃) 功能介绍 该API用于在project下的上传pyfile类型模块。上传同名pyfile类型模块时,新模块将会覆盖旧模块。 当前接口已废弃,不推荐使用。 调试 您可以在API Explorer中调试该接口。 URI URI格式: POST /v2
删除跨源认证(废弃) 功能介绍 该API用于删除跨源认证。 当前接口已废弃,不推荐使用。推荐使用删除跨源认证。 调试 您可以在API Explorer中调试该接口。 URI URI格式: DELETE /v2.0/{project_id}/datasource/auth-infos/{auth_info_name}
字符串函数概览 DLI所支持的字符函数如字符串函数所示。 表1 字符串函数 函数 命令格式 返回值 功能简介 ascii ascii(string <str>) BIGINT 返回字符串中首字符的数字值。 concat concat(array<T> <a>, array<T> <b>[
regexp_replace1 regexp_replace1函数用于将source字符串中第occurrence次匹配pattern的子串,替换成指定字符串replace_string后,返回结果字符串。 regexp_replace1函数只适用于Spark 2.4.5及之前的版本。
提示OBS Bucket没有授权怎么办? DLI更新委托后,将原有的dli_admin_agency升级为dli_management_agency。 dli_management_agency包含跨源操作、消息通知、用户授权操作所需的权限,除此之外的其他委托权限需求,都需自定义DLI委托。
ORDER BY 功能描述 按字段实现查询结果的全局排序。 语法格式 1 2 3 SELECT attr_expr_list FROM table_reference ORDER BY col_name [ASC | DESC] [,col_name [ASC | DESC]
SQL语法约束与定义 语法支持类型 语法定义 父主题: Flink Opensource SQL1.12语法参考
数学函数 数学函数概览 abs acos asin atan bin bround cbrt ceil conv cos cot1 degrees e exp factorial floor greatest hex least ln log log10 log2 median negative
聚合函数 聚合函数概览 avg corr count covar_pop covar_samp max min percentile percentile_approx stddev_pop stddev_samp sum variance/var_pop var_samp 父主题:
使用JDBC提交Spark SQL作业 获取服务端连接地址 下载JDBC驱动包 认证 使用JDBC提交作业 JDBC API参考 父主题: SQL作业开发指南
内置函数 数学运算函数 字符串函数 时间函数 条件函数 类型转换函数 集合函数 值构建函数 属性访问函数 Hash函数 聚合函数 表值函数 父主题: 函数
内置函数 具体使用请参考开源社区文档:内置函数。 比较函数 逻辑函数 算术函数 字符串函数 时间函数 条件函数 类型转换函数 集合函数 JSON函数 值构建函数 值获取函数 分组函数 Hash函数 聚合函数 表值函数 父主题: 函数
设置Flink作业优先级 操作场景 在实际作业运行中,由于作业的重要程度以及紧急程度不同,需要重点保障重要和紧急的作业正常运行,因此需要满足它们正常运行所需的计算资源。 DLI提供的设置作业优先级功能,可以对每个Flink作业设置作业优先级,当资源不充足时,可以优先满足优先级较高的作业的计算资源。
avg(col), avg(DISTINCT col) 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 col 是 所有数据类型 列值支持所有数据类型,可以转换为DOUBLE类型后参与运算。 返回值说明 返回DOUBLE类型的值。 如果col值为NULL时,该列不参与计算。