检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
步骤2:安装SuperSet并配置数据连接驱动:配置Superset安装数据连接驱动。 步骤3:配置SuperSet连接kyuubi:在BI工具中创建一个新的数据连接,通过JDBC连接Kyuubi。 步骤1:安装并配置Kyuubi连接DLI 如需使用外网访问Kyuubi请确保弹性云
步骤2:配置ODBC连接Kyuubi:安装ODBC驱动,配置ODBC驱动连接到Kyuubi服务器。 步骤3:配置Power BI使用ODBC连接到Kyuubi:在BI工具中创建一个新的数据连接,使用ODBC作为数据源,通过ODBC连接Kyuubi。 步骤1:安装并配置Kyuubi连接DLI 如需使用外网访问
下载并安装JDBC驱动包 操作场景 JDBC用于连接DLI服务,您可以在Maven获取JDBC安装包,或在DLI管理控制台下载JDBC驱动文件。 本文介绍通过JDBC连接DLI并提交SQL作业。 获取服务端连接地址 连接DLI服务的地址格式为:jdbc:dli://<endPoi
使用JDBC连接DLI并提交SQL作业 操作场景 在Linux或Windows环境下您可以使用JDBC应用程序连接DLI服务端提交作业。 使用JDBC连接DLI提交的作业运行在Spark引擎上。 JDBC版本2.X版本功能重构后,仅支持从DLI作业桶读取查询结果,如需使用该特性需具备以下条件:
DLI JDBC Driver支持的API列表 DLI JDBC Driver支持JDBC标准的众多API,也有部分API不支持用户调用,例如涉及事务调用的API“prepareCall”,调用这类API将抛出“SQLFeatureNotSupportedException”异常
、私有能力等内置到自定义镜像中,以此改变Spark作业和Flink作业的容器运行环境,增强作业的功能、性能。 例如,在自定义镜像中加入机器学习相关的Python包或者C库,可以通过这种方式帮助用户实现功能扩展。 用户使用自定义镜像功能需要具备Docker相关的基础知识。 使用限制
的融合机器学习相关的大数据分析程序。传统上,通常是直接基于pip把Python库安装到执行机器上,对于DLI这样的Serverless化服务用户无需也感知不到底层的计算资源,那如何来保证用户可以更好的运行他的程序呢? DLI服务在其计算资源中已经内置了一些常用的机器学习的算法库(具体可以参考”数据湖探索
操作场景 DLI允许用户提交编译为Jar包的Spark作业,Jar包中包含了Jar作业执行所需的代码和依赖信息,用于在数据查询、数据分析、机器学习等特定的数据处理任务中使用。在提交Spark Jar作业前,将程序包上传至OBS,并将程序包与数据和作业参数一起提交以运行作业。 本例介绍
基于ModelArts提供的MindSpore预置镜像,并借助ModelArts命令行工具,通过加载镜像构建模板并修改Dockerfile,构建出一个新镜像,最后注册后在Notebook使用。 ModelArts命令行工具请参考ma-cli镜像构建命令介绍。 基础镜像地址:swr.{endpo
查看监控指标 06 开发 您可以使用客户端或第三方BI工具对接DLI,以及通过DLI跨源连接进行数据分析。 客户端工具操作指导 使用Spark-submit提交作业 使用UDF操作指导 第三方BI工具对接DLI 配置BI工具连接DLI 跨源数据分析操作指导 概述 对接HBase 对接OpenTSDB
成的目录创建非DLI表,通过DLI SQL进行下一步处理分析,并且输出数据目录支持分区表结构。适用于数据转储、大数据分析、备份或活跃归档、深度或冷归档等场景。 语法格式 1 2 3 4 5 6 7 create table filesystemSink ( attr_name
FileSystem sink用于将数据输出到分布式文件系统HDFS或者对象存储服务OBS等文件系统。适用于数据转储、大数据分析、备份或活跃归档、深度或冷归档等场景。 考虑到输入流可以是无界的,每个桶中的数据被组织成有限大小的Part文件。完全可以配置为基于时间的方式往桶中写入数据,比如
FileSystem sink用于将数据输出到分布式文件系统HDFS或者对象存储服务OBS等文件系统。适用于数据转储、大数据分析、备份或活跃归档、深度或冷归档等场景。 考虑到输入流可以是无界的,每个桶中的数据被组织成有限大小的Part文件。完全可以配置为基于时间的方式往桶中写入数据,比如
Debezium Format 功能描述 Debezium是一个 CDC(Changelog Data Capture,变更数据捕获)的工具,可以把其他数据库的更改实时流式传输到 Kafka 中。 Debezium 为变更日志提供了统一的格式结构,并支持使用 JSON消息。 Flink
请参见如何恢复为手动续费。 手动续费资源。 单个续费:在资源页面找到需要续费的资源,单击操作列的“续费”。 批量续费:在资源页面勾选需要续费的资源,单击列表左上角的“批量续费”。 选择续费时长,判断是否勾选“统一到期日”,将到期时间统一到各个月的某一天(详细介绍请参见统一包年/包
成offset,再truncate table ,再历史导入,再开启实时。 图1 初始化操作流程 如果批量初始化前表里已经存在数据且没有truncate table,则会导致批量数据写成非常大的log文件,对后续compaction形成很大压力需要更多资源才能完成。 Hudi表在
Maxwell Format 功能描述 Maxwell是一个CDC(Changelog Data Capture)工具,可以将MySql中的更改实时流式写入到Kafka等流式connector。Maxwell为changelog提供了统一的格式,而且支持使用JSON对消息进行序列化。
删除SQL模板 功能介绍 该接口用于批量删除SQL模板。 调试 您可以在API Explorer中调试该接口。 URI URI格式: POST /v1.0/{project_id}/sqls-deletion 参数说明 表1 URI参数说明 参数 是否必选 参数类型 描述 project_id
Canal Format 功能描述 Canal是一个 CDC(ChangeLog Data Capture,变更日志数据捕获)工具,可以实时地将 MySQL 变更传输到其他系统。Canal 为变更日志提供了统一的数据格式,并支持使用 JSON 或 protobuf序列化消息(Canal
Debezium Format 功能描述 Debezium是一个 CDC(Changelog Data Capture,变更数据捕获)的工具,可以把来自 MySQL、PostgreSQL、Oracle、Microsoft SQL Server 和许多其他数据库的更改实时流式传输到