Pentaho数据集成工具-产品介绍

2024-07-13 11:18:59

适用于：Linux 商品简介：Pentaho Data Integration简称PDI，又称Kettle，是纯 java 开发， 开源 的 ETL工具，用于 数据库 间的 数据迁移 。 商品亮点：一键部署,内置OBS 对象存储 的输入输出控件,VFS新增OBS连接类型,基于Linux部署，已安装图形化界面 商品说明 版本: V1.0 交付方式: 镜像 适用于: Linux 上架日期: 2023-03-09 07:57:02.0 Pentaho Data Integration以Java开发，支持跨平台运行，其特性包括：支持100%无编码、拖拽方式开发ETL数据管道；可对接包括传统 数据库 、文件、 大数据 平台、接口、流数据等数据源；支持ETL数据管道加入机器学习算法。 本商品增加了华为云 对象存储服务 （OBS）的输入输出控件，并让虚拟文件系统连接（VFS Connections）支持OBS，同时提供Linux客户端可视化操作界面，并且已经安装部署好所需环境，用户购买ECS后直接登陆使用。 查看详情

Enhanced NiFi-服务支持

2024-07-13 11:18:58

服务内容：如果一键部署出现异常，可寻求帮助 服务时间：周一至周六 9:00~11:50 14:00~18:00 服务电话：1737504510 服务邮箱：1441256632@qq.com 服务微信：xnx3com 使用指南： Enhanced version of NiFi 下载 查看商品详情 立即下载

Enhanced NiFi-产品介绍

2024-07-13 11:18:57

适用于：Linux 商品简介：NiFi 是一个易于使用、功能强大而且可靠的流式数据处理和分发系统。NiFi 是为数据流设计，支持从多种数据源动态的拉取数据，并基于WEB图形界面，集成华为云扩展，一键部署 商品亮点：支持通过模板一键部署，购买之后只需等待几分钟，即可使用,集成华为云OBS服务，更多华为 云服务 待添加 商品说明 版本: V1.0 交付方式: 镜像 适用于: Linux 上架日期: 2023-03-08 07:35:05.0 Enhanced NiFi 简介 NiFi 是一个易于使用、功能强大而且可靠的流式数据处理和分发系统。NiFi 是为数据流设计，支持从多种数据源动态的拉取数据，并基于WEB图形界面，通过拖拽、连接、配置完成基于流程的编程，实现数据采集、处理等功能。 本 镜像 基于NiFi的扩展机制，提供针对华为 云服务 的扩展，目前支持华为云服务如下： OBS ListOBSProcessor 从obs桶中检索对象列表。对于列出的每个对象，创建一个表示该对象的FlowFile，以便与FetchOBSObject一起获取。此处理器设计为仅在集群中的主节点上运行。如果主节点发生了变化，新的主节点将从前一个节点停止的位置开始，而不会复制所有数据 FetchOBSProcessor 检索OBS对象的内容并将其写入到FlowFile的内容中 PutOBSProcessor 从输入的FlowFile中获取文件流，上传到OBS的指定桶，输入可以是FetchOBSProcessor也可以是其他任意包含文件Content的输入；支持大文件切分上传，当异常时可以以最小的损失恢复大型上传 DeleteOBSProcessor 根据输入的FlowFiles删除华为云OBS桶上的文件。如果试图删除一个不存在的文件，FlowFile将被路由到成功。 [备注] 更加详细的使用以及参数明细，请阅读对应Processor的Usage文档 DWS/DLI/ CDM / SMN /DataArts 下一个版本集成... 查看详情

Vitess-OBS-产品介绍

2024-07-13 11:18:55

适用于：Linux 商品简介：Vitess是一个用于部署、扩展和管理大型MySQ L实例 集群的数据库 解决方案 。 商品亮点：内置OBS 商品说明 版本: V1.0 交付方式: 镜像 适用于: Linux 上架日期: 2023-12-21 02:10:23.0 Vitess是一个用于部署、扩展和管理大型MySQ L实例 集群的 数据库 解决方案。Vitess集MySQL数据库的很多重要特性和NoSQL数据库的可扩展性于一体。它的架构设计使得您可以像在物理机上一样在公共云或 私有云 架构中有效运行。它结合并扩展了许多重要的MySQL功能，同时兼具NoSQL数据库的可扩展性。 Vitess能解决以下问题： 1. 支持您对MySQL数据库进行分片来扩展MySQL数据库，应用程序无需做太多更改。 2. 从物理机 迁移 到私有云或公共云。 3. 部署和管理大量的MySQL实例。 Vitess包含兼容的JDBC和Go数据库驱动程序，使用本地查询协议。此外，它实现了与几乎任何其他语言兼容的MySQL服务器协议。Vitess在过去五年中为YouTube的所有数据库流量提供服务。现在许多企业已经采用Vitess来满足其生产需求。 备份和恢复是由 Vitess 管理的分片提供的集成功能。除了用于数据完整性的备份之外，Vitess 还会为在现有分片中配置新的分片表创建和恢复备份。 本商品已对Vitess的备份功能进行华为云OBS 对象存储 的拓展。 查看详情

Pulsar分布式消息流平台-产品介绍

2024-07-13 11:18:53

适用于：Linux 商品简介：Pulsar是Apache软件基金会的顶级项目，也是下一代 云原生 分布式消息流平台。它集消息、存储、轻量化函数式计算为一体，采用计算与存储分离架构设计。 商品亮点：内置OBS类型的 云存储 连接器 商品说明 版本: V1.0 交付方式: 镜像 适用于: Linux 上架日期: 2023-11-07 02:06:10.0 Pulsar的主要特性包括： ①支持多种消息模型：Pulsar提供了灵活的消息模型和直观的客户端API，支持发布-订阅模式和点对点模式。 ②持久化存储：Pulsar使用Apache BookKeeper作为其持久化存储，BookKeeper是一个分布式的预写日志（WAL）系统，可以支持创建多个独立的存储库。 ③多租户支持：Pulsar支持多租户，可以为每个租户提供独立的命名空间，以保证数据的安全性和隔离性。 ④高吞吐和强一致性：Pulsar具有高吞吐和强一致性的特性，能够保证大量数据的高效处理和传输。 ⑤Failover模式：在failover模式下，多个consumer允许使用同一个subscription去订阅topic。但是对于给定的topic，broker将选择一个consumer作为该topic的主。 总的来说，Pulsar是一个功能丰富且具有高度扩展性的分布式消息系统，适用于处理大量的数据流和消息传递场景。 查看详情

RocketMQ集群-产品介绍

2024-07-13 11:18:49

适用于：Linux 商品简介：RocketMQ是Apache的一款低延迟、高并发、高可用、高可靠的分布式消息中间件。RocketMQ既可为分布式应用系统提供异步解耦和削峰填谷的能力，同时也具备互联网应用所需的海量消息堆积、高吞吐、可靠重试等特性。 商品亮点：支持通过模板一键部署，购买之后只需等待几分钟，即可使用,一键部署RocketMQ-v4.8集群 商品说明 版本: V1.0 交付方式: 镜像 适用于: Linux 上架日期: 2023-05-10 14:47:33.0 RocketMQ是Apache的一款低延迟、高并发、高可用、高可靠的分布式消息中间件。RocketMQ既可为分布式应用系统提供异步解耦和削峰填谷的能力，同时也具备互联网应用所需的海量消息堆积、高吞吐、可靠重试等特性。 本商品通过Terraform编排华为云资源。在多台ECS服务器上一键部署RocketMQ,并通过ELB统一RocketMQ的nameserver入口，实现RocketMQ集群。 查看详情

DataX-OBS数据同步工具-服务支持

2024-07-13 11:18:49

服务内容：如果一键部署出现异常，可寻求帮助 服务时间：周一至周六 9:00~11:50 14:00~18:00 服务电话：17076012262 服务邮箱：921153866@qq.com 服务微信：xnx3com 使用指南： DataX-OBS数据同步工具使用指南 下载 查看商品详情 立即下载

DataX-OBS数据同步工具-产品介绍

2024-07-13 11:18:47

适用于：Linux 商品简介：DataX是开源的一个异构数据源离线同步工具，用来实现包括OBS、关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据同步 商品亮点：一键部署,内置华为云OBS对象存储的数据同步,可视化界面 商品说明 版本: V1.0 交付方式: 镜像 适用于: Linux 上架日期: 2022-11-11 10:25:09.0 DataX 是 开源 的一个异构数据源离线同步工具，用来实现包括OBS、关系型 数据库 (MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。 本商品是为此增加了华为云OBS 对象存储 的数据同步，以及提供可视化UI界面，一键安装部署好，帮你更好更方便的去使用它。 提供了两种部署方式， 镜像 部署方式跟 资源编排 的部署方式。推荐使用资源编排方式，一键自动创建数据库、安全组、服务器等相关。如果你使用的是镜像部署的方式，需要你提前先开通 RDS Mysql ，开通好之后再使用镜像的方式进行部署。 开通 RDS Mysql 时，其中 mysql版本选择5.7 如下图所示 查看详情

siddhi-obs-产品介绍

2024-07-13 11:18:45

适用于：Linux 商品简介：Siddhi 是一个流处理和复杂事件处理平台，可用于构建成熟的事件驱动应用程序。 商品亮点：内置OBS 商品说明 版本: V1.0 交付方式: 镜像 适用于: Linux 上架日期: 2023-12-04 09:09:09.0 Siddhi 是一个流处理和复杂事件处理平台，可用于构建成熟的事件驱动应用程序。它可以嵌入到 Java 和 Python 应用程序中，作为微服务在裸机、VM 或 Docker 上运行，并在 Kubernetes 中大规模本地运行。 本商品是作为本地微服务的方式在使用，并且扩展运行将时间发布到OBS桶中 查看详情

Logstash-OBS-服务支持

2024-07-13 11:18:45

服务内容：如果一键部署出现异常，可寻求帮助 服务时间：周一至周六 9:00~11:50 14:00~18:00 服务电话：1737504510 服务邮箱：1441256632@qq.com 服务微信：xnx3com 使用指南： Logstash-OBS使用指南 下载 查看商品详情 立即下载

Logstash-OBS-产品介绍

2024-07-13 11:18:44

适用于：Linux 商品简介：Logstash是一个开源的服务器端数据处理管道，支持各种输入选择，可以同时从多个数据源获取数据，可以在同一时间从众多常用来源捕捉事件 商品亮点：内置华为云OBS对象存储 商品说明 版本: V1.0 交付方式: 镜像 适用于: Linux 上架日期: 2023-04-21 11:55:04.0 Logstash是一个 开源 的服务器端数据处理管道，支持各种输入选择，可以同时从多个数据源获取数据，可以在同一时间从众多常用来源捕捉事件。能够以连续的流式传输方式，轻松地从您的日志、指标、Web 应用、数据存储等采集数据，并对其进行转换，然后将其发送到目标存储。 本商品利用Logstash的数据源扩展机制，使Logstash可以使用obs作为输入，输出数据源。 这里提供的是 镜像 部署方式。 查看详情

Streamsets数据集成平台-产品介绍

2024-07-13 11:18:41

适用于：Linux 商品简介：StreamSets是一种 数据集成平台 ，旨在帮助组织实时地移动、转换和处理数据。它提供了一种可视化、可扩展和易于使用的方式，用于构建数据流水线，将数据从不同来源提取、传输到目标系统，同时可以对数据进行必要的转换和处理。 商品亮点：一键部署,内置OBS对象存储作为数据源 商品说明 版本: V1.0 交付方式: 镜像 适用于: Linux 上架日期: 2023-10-25 07:25:17.0 StreamSets的主要功能和特点包括： ①数据采集：StreamSets支持从各种数据源（例如 数据库 、日志文件、消息队列、 云存储 等）中提取数据。 ②数据转换：用户可以定义数据处理和转换规则，以确保数据在传输过程中得到适当的格式化和清洗。 ③可视化界面：StreamSets提供直观的可视化界面，使用户能够轻松地构建和管理数据流水线，而无需编写复杂的代码。 ④实时数据处理：它支持实时数据流，可以在数据到达时立即进行处理和传递，适用于实时分析和监控。 ⑤可扩展性：StreamSets是可扩展的，允许用户编写自定义插件和扩展，以满足特定的 数据集 成需求。 ⑥数据质量和监控：提供数据质量检查和监控功能，帮助用户确保数据的一致性和准确性。 ⑦安全性：具备安全控制功能，以确保数据的保密性和完整性。 StreamSets的主要目标是简化数据集成过程，使组织能够更轻松地管理和流动数据，从而支持数据驱动的决策和分析。 其中本商品新增了数据源OBS。 查看详情

Flink流数据分析工具-服务支持

2024-07-13 11:18:41

服务内容：如果一键部署出现异常，可寻求帮助 服务时间：周一至周六 9:00~11:50 14:00~18:00 服务电话：18362962787 服务邮箱：lsmforwork@outlook.com 服务微信：xnx3com 使用指南： Flink流数据分析工具 下载 查看商品详情 立即下载

Flink流数据分析工具-产品介绍

2024-07-13 11:18:40

适用于：Linux 商品简介：Flink是一个分布式的流数据处理引擎，常用于实数数据的分析处理工作。本商品基于Huawei Cloud EulerOS 2.0 64bit系统，提供开箱即用的Flink服务。 商品亮点：提供开箱即用的Flink服务。可以免去用户下载Flink二进制文件，设置环境变量的过程。 商品说明 版本: V1.0 交付方式: 镜像 适用于: Linux 上架日期: 2023-02-06 07:35:04.0 Flink是一个流行的分布式的流数据处理引擎，常用于无边界和有边界数据流的分析处理工作。Flink有几大特点： 集成所有常见的集群资源管理器，例如Hadoop YARN、Kuebrnetes等，也支持独立集群运行 同时支持批处理和流处理两种数据处理方式 具有精准的时间控制，支持基于事件发生事件、事件处理事件等多种形式的时间窗口 具有状态托管机制，可以基于历史状态进行数据处理，支持将状态数据存放在内存中，所以具有极高的运行速度。 本商品基于Huawei Cloud EulerOS 2.0 64bit系统，提供开箱即用的Flink服务。可以免去用户下载Flink二进制文件，设置环境变量的过程。具体安装的软件及版本情况如下： 部署java JDK，部署openjdk，版本号为11.0.16 部署Flink，版本号为1.16.0，位于/opt/flink-1.16.0/路径下。 新增环境变量，修改路径位于/etc/profile 查看详情

Apache Hudi-产品介绍

2024-07-13 11:18:38

适用于：Linux 商品简介：Apache Hudi是下一代流 数据湖 平台，它直接在数据湖中引入了核心的仓库和数据库功能。Hudi提供了两种原语，使得除了经典的批处理之外，还可以在数据湖上进行流处理。 商品亮点：内置OBS作为连接源 商品说明 版本: V1.0 交付方式: 镜像 适用于: Linux 上架日期: 2023-11-07 02:10:46.0 Apache Hudi，也被发音为“hoodie”，是下一代流 数据湖 平台。它直接在数据湖中引入了核心的仓库和 数据库 功能。Hudi提供了两种原语，使得除了经典的批处理之外，还可以在数据湖上进行流处理。此外，Hudi还支持表、事务、高效的upserts/删除、高级索引、流式摄取服务、数据群集/压缩优化以及并发，同时保持数据以 开源 文件格式保留。 以下是Apache Hudi的一些主要特性： ①支持多种类型操作：Hudi表允许多种类型操作，包括非常常用的upsert。为了支持upsert，Hudi依赖索引机制来定位记录在哪些文件中。 ②支持分区和非分区 数据集 ：Hudi支持分区和非分区的数据集。分区数据集是将一组文件（数据）放在称为分区的桶中的数据集。 ③使用索引加快更删操作：对于Copy-On-Write表，索引能加快更删的操作，因为避免了通过连接整个数据集来决定哪些文件需要重写。对于Merge-On-Read表，这个设计，对于任意给定的基文件，能限定要读取的文件范围。 ④支持事务：Hudi支持事务，这使得在处理大量数据时可以确保数据的完整性和一致性。 ⑤高效的upserts/删除：Hudi提供高效的upserts和删除操作，这对于实时或近实时数据处理的场景非常有用。 ⑥高级索引：Hudi支持高级索引，这使得用户可以更快地查询和检索数据。 ⑦流式摄取服务：Hudi支持流式摄取服务，这使得用户可以实时将数据添加到数据湖中。 ⑧数据群集/压缩优化以及并发：Hudi支持数据群集、压缩优化以及并发，这使得它在处理大量数据时能够保持高效和可扩展性。 查看详情

共16153条

为您推荐

L实例 在线语音转文字 通用文字识别 对象存储OBS IoT全栈云服务 安全合规服务 文字语音识别 OCR图片文字识别 扫描图片识别文字 录音转文字