检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DLI 客户端工具下载 您可以在DLI管理控制台下载DLI客户端工具。 登录DLI管理控制台。 单击总览页右侧“常用链接”中的“SDK下载”。 在“DLI SDK DOWNLOAD”页面,单击“dli-clientkit-<version>”即可下载DLI客户端工具。 DLI客户
配置Beeline通过Kyuubi连接DLI进行数据查询和分析 Beeline是数据分析师和数据工程师的重要工具之一,适用于大规模数据处理的场景。Beeline提供了的SQL引擎,使得用户可以使用SQL的语言来执行数据查询、数据分析和管理任务。 Kyuubi是一个分布式 SQL
BY指定集合级别的分隔符,仅支持CHAR类型 MAP KEY TERMINATED BY仅用于指定MAP类型中的key与vaule之间的分隔符号,仅支持CHAR类型。 LINES TERMINATED BY指定行与行之间的分割符,目前只支持“\n”。 使用NULL DEFINED AS子句可以指定NULL的格式。
在调用自定义函数时需要知道如何将内部数据结构表示为JVM对象。 Flink 自定义函数实现了自动的类型推导提取,通过反射从函数的类及其求值方法中派生数据类型。然而以反射方式提取数据类型并不总是成功的,比如UDTF中常见的Row类型。 由于 Flink 1.11 起引入了新的自定义函
步骤2:安装SuperSet并配置数据连接驱动:配置Superset安装数据连接驱动。 步骤3:配置SuperSet连接kyuubi:在BI工具中创建一个新的数据连接,通过JDBC连接Kyuubi。 步骤1:安装并配置Kyuubi连接DLI 如需使用外网访问Kyuubi请确保弹性云
步骤2:配置ODBC连接Kyuubi:安装ODBC驱动,配置ODBC驱动连接到Kyuubi服务器。 步骤3:配置Power BI使用ODBC连接到Kyuubi:在BI工具中创建一个新的数据连接,使用ODBC作为数据源,通过ODBC连接Kyuubi。 步骤1:安装并配置Kyuubi连接DLI 如需使用外网访问
在调用自定义函数时需要知道如何将内部数据结构表示为JVM对象。 Flink 自定义函数实现了自动的类型推导提取,通过反射从函数的类及其求值方法中派生数据类型。然而以反射方式提取数据类型并不总是成功的,比如UDTF中常见的Row类型。 由于 Flink 1.11 起引入了新的自定义函
下载并安装JDBC驱动包 操作场景 JDBC用于连接DLI服务,您可以在Maven获取JDBC安装包,或在DLI管理控制台下载JDBC驱动文件。 本文介绍通过JDBC连接DLI并提交SQL作业。 获取服务端连接地址 连接DLI服务的地址格式为:jdbc:dli://<endPoi
OBJECT | ERROR } ON ERROR ]) 从JSON字符串中提取JSON值。 结果始终以STRING形式返回。目前不支持RETURNING子句。 wrappingBehavior确定是否应该将提取的值包装到数组中,以及是无条件地还是只有当值本身不是数组时才这样做。 o
Bitwise函数 bit_count(x, bits) → bigint 计算2的补码表示法中x中设置的位数(视为有符号位的整数)。 SELECT bit_count(9, 64); -- 2 SELECT bit_count(9, 8); -- 2 SELECT bit_count(-7
使用JDBC连接DLI并提交SQL作业 操作场景 在Linux或Windows环境下您可以使用JDBC应用程序连接DLI服务端提交作业。 使用JDBC连接DLI提交的作业运行在Spark引擎上。 JDBC版本2.X版本功能重构后,仅支持从DLI作业桶读取查询结果,如需使用该特性需具备以下条件:
DLI JDBC Driver支持的API列表 DLI JDBC Driver支持JDBC标准的众多API,也有部分API不支持用户调用,例如涉及事务调用的API“prepareCall”,调用这类API将抛出“SQLFeatureNotSupportedException”异常
管理Flink作业模板 Flink模板包括样例模板和自定义模板。用户可以在已有的样例模板中进行修改,来实现实际的作业逻辑需求,节约编辑SQL语句的时间。也可以根据自己的习惯和方法自定义作业模板,方便后续可以直接调用或修改。 Flink模板管理主要包括如下功能: Flink SQL样例模板
提交SQL作业时,返回“unsupported media Type”信息 创建SQL作业的API执行超过时间限制,运行超时报错 API接口返回的中文字符为乱码,如何解决?
Browser+。下载地址请参考《对象存储服务工具指南》。 安装OBS Browser+。安装步骤请参考《对象存储服务工具指南》。 登录OBS Browser+。OBS Browser+支持AK方式登录,以及授权码登录两种登录方式。登录步骤请参考《对象存储服务工具指南》。 通过OBS Browser+上传数据。
参数类型 说明 table_name 是 String 新增表名称。 表名称只能包含数字、英文字母和下划线,但不能是纯数字,且不能以下划线开头。 表名称大小写不敏感且不能为空。 表名称支持包含“$”符号。例如:$test。 输入长度不能超过128个字符。 data_location 是 String
partition-time,应为时间戳字符串 (yyyy-[m]m-[d]d [hh:mm:ss])。 对于partition-time,将使用分区时间提取器从分区中提取时间。对于 partition-name,是分区名称字符串(例如 pt_year=2020/pt_mon=10/pt_day=01)。
select bar(0.75,80,rgb(255,0,0),rgb(0,255,0)); render(b) 描述:根据布尔值返回对错符号。 select render(true),render(false); 父主题: SQL函数和操作符
说明 new_owner 是 String 新用户名。名称只能包含数字、英文字母、下划线和中划线且不能以数字开头,长度在5-32字符之间。 group_name 是 String 组名。名称只能包含数字、英文字母、点、下划线和中划线,长度不能超过64字符。 resource_name
使用CDM迁移数据至DLI CDM提供了可视化的迁移任务配置页面,支持多种数据源到数据湖的迁移能力。 本节操作介绍使用CDM迁移工具将数据从数据源迁移至DLI的操作步骤。 图1 使用CDM迁移数据至DLI操作流程 步骤1:创建CDM集群 CDM集群用于执行数据迁移作业,将数据从数据源迁移至DLI。