检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
失败的情形（例如：jar包冲突），有时日志不会写到OBS桶中 Jobmanager与Taskmanager心跳超时，导致Flink作业异常怎么办？ 父主题： Flink作业类
修改DLI Livy工具配置文件 上传指定的DLI Livy工具jar资源包到OBS桶路径下。 登录OBS控制台，在指定的OBS桶下创建一个存放Livy工具jar包的资源目录。例如：“obs://bucket/livy/jars/”。 进入3.a中DLI Livy工具所在ECS服务器
怎样查看DLI的数据扫描量？ 按需计费的弹性资源池，如果没提交作业运行就不计费？ 想要使用扫描套餐包计费，购买队列还要额外收费吗？ 超出套餐包额度的使用量怎么收费？ 弹性资源池的实际CUs、CU范围、规格的含义 包年包月弹性资源池设置了定时扩缩容时，怎样计费？
SQL作业如何指定表的部分字段进行表数据的插入 SQL作业运行慢如何定位 怎样查看DLI SQL日志？ 怎样查看DLI的执行SQL记录？ 执行SQL作业时产生数据倾斜怎么办？ SQL作业中存在join操作，因为自动广播导致内存不足，作业一直运行中 为什么SQL作业一直处于“提交中”？ 父主题： SQL作业类
参见图7。 图7 查询数据表数据 在“创建数据集”页面工具栏中单击“保存”，完成创建数据集。 在YongHong BI连接DLI数据源并创建和数据集后，即可在YongHong BI中按需制作BI图表。 父主题： 使用BI工具连接DLI分析数据
DBeaver 是一个免费且开源的数据库管理工具，支持多种数据库，通过DBeaver这款可视化数据库管理工具可以查看数据库结构、执行SQL查询和脚本、浏览和导出数据等。本节操作介绍DBeaver连接DLI服务的操作步骤。 操作前准备 工具包 DLI的JDBC驱动： 单击dli-jdbc-x
配置Beeline通过Kyuubi连接DLI进行数据查询和分析 Beeline是数据分析师和数据工程师的重要工具之一，适用于大规模数据处理的场景。Beeline提供了的SQL引擎，使得用户可以使用SQL的语言来执行数据查询、数据分析和管理任务。 Kyuubi是一个分布式 SQL
Flink Jar作业访问DWS启动异常，提示客户端连接数太多错误 问题描述 提交Flink Jar作业访问DWS数据仓库服务时，提示启动失败，作业日志报如下错误信息。 FATAL: Already too many clients, active/non-active/reserved:
在DLI控制台的SQL作业管理界面创建使用的UDTF函数。 6 验证和使用DLI的UDTF函数 DLI控制台 在DLI作业中使用创建的UDTF函数。 操作步骤 新建Maven工程，配置pom文件。以下通过IntelliJ IDEA 2020.2工具操作演示。 打开IntelliJ IDEA，选择“File
在DLI控制台，选择“作业管理”>“SQL作业”。 在SQL作业管理页面，输入对应的job id，找到对应的作业。 在“操作”列中，单击“更多”>“归档日志”>“下载日志到本地”。 图3 归档日志 在所下载的日志中搜索对应jobId，即可查看具体的执行日志。 父主题： SQL作业开发类
8，并使用默认的用户名和密码登录（通常为 admin/admin）。 下载数据驱动。获取Apach Hive驱动包，推荐使用pyhive 0.7.0版本。 安装操作指导请参考安装Hive驱动。 步骤3：配置SuperSet连接kyuubi 打开并登录Superset。 单击“Data
配置Fine BI通过Kyuubi连接DLI进行数据查询和分析 Fine BI是一款智能可视化工具，专注于数据分析和可视化。它支持连接多种数据源，能够将复杂的数据转换为直观的图表和仪表板，快速获得数据洞察。 Kyuubi是一个分布式 SQL 查询引擎，它提供了标准的SQL接口，使
DLI JDBC Driver支持的API列表 DLI JDBC Driver支持JDBC标准的众多API，也有部分API不支持用户调用，例如涉及事务调用的API“prepareCall”，调用这类API将抛出“SQLFeatureNotSupportedException”异常
跨源认证概述 什么是跨源认证？ 跨源分析场景中，如果在作业中直接配置认证信息会触发密码泄露的风险，因此推荐您使用“数据加密服务DEW”或“DLI提供的跨源认证方式”来存储数据源的认证信息。 数据加密服务（Data Encryption Workshop, DEW）是一个综合的云上
scala样例代码 前提条件 在DLI管理控制台上已完成创建跨源连接。具体操作请参考《数据湖探索用户指南》。 CSS非安全集群 开发说明 构造依赖信息，创建SparkSession 导入依赖 涉及到的mvn依赖库 1 2 3 4 5 <dependency> <groupId>org
自定义函数类型推导 操作场景 类型推导包含了验证输入值、派生参数和返回值数据类型。从逻辑角度看，Planner需要知道数据类型、精度和小数位数；从 JVM 角度来看，Planner 在调用自定义函数时需要知道如何将内部数据结构表示为JVM对象。 Flink 自定义函数实现了自动的
SDK安装脚本。 安装DLI Python SDK 下载并解压SDK安装包。 将"dli-sdk-python-<version>.zip"解压到本地目录，目录可自行调整。 安装SDK。 打开Windows操作系统“开始”菜单，输入cmd命令。 在命令行窗口，进入“dli-sdk-python-<version>
自定义函数类型推导 操作场景 类型推导包含了验证输入值、派生参数和返回值数据类型。从逻辑角度看，Planner需要知道数据类型、精度和小数位数；从 JVM 角度来看，Planner 在调用自定义函数时需要知道如何将内部数据结构表示为JVM对象。 Flink 自定义函数实现了自动的
Spark jar 如何读取上传文件 Spark可以使用SparkFiles读取 –-file中提交上来的文件的本地路径，即：SparkFiles.get("上传的文件名")。 Driver中的文件路径与Executor中获取的路径位置是不一致的，所以不能将Driver中获取到的
安装DLI服务Python SDK。 选择SDK获取与安装获取的安装包，解压安装包。 将"dli-sdk-python-<version>.zip"解压到本地目录，目录可自行调整。 安装SDK。 打开Windows操作系统“开始”菜单，输入cmd命令。 在命令行窗口，进入“dli-sdk-python-<version>
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
