DataX-OBS数据同步工具-产品介绍

2024-07-13 11:18:47

适用于：Linux 商品简介：DataX是 开源 的一个异构数据源离线同步工具，用来实现包括OBS、关系型 数据库 (MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据同步 商品亮点：一键部署,内置华为云OBS 对象存储 的数据同步,可视化界面 商品说明 版本: V1.0 交付方式: 镜像 适用于: Linux 上架日期: 2022-11-11 10:25:09.0 DataX 是 开源 的一个异构数据源离线同步工具，用来实现包括OBS、关系型 数据库 (MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。 本商品是为此增加了华为云OBS 对象存储 的数据同步，以及提供可视化UI界面，一键安装部署好，帮你更好更方便的去使用它。 提供了两种部署方式， 镜像 部署方式跟 资源编排 的部署方式。推荐使用资源编排方式，一键自动创建数据库、安全组、服务器等相关。如果你使用的是镜像部署的方式，需要你提前先开通 RDS Mysql ，开通好之后再使用镜像的方式进行部署。 开通 RDS Mysql 时，其中 mysql版本选择5.7 如下图所示 查看详情

siddhi-obs-产品介绍

2024-07-13 11:18:45

适用于：Linux 商品简介：Siddhi 是一个流处理和复杂事件处理平台，可用于构建成熟的事件驱动应用程序。 商品亮点：内置OBS 商品说明 版本: V1.0 交付方式: 镜像 适用于: Linux 上架日期: 2023-12-04 09:09:09.0 Siddhi 是一个流处理和复杂事件处理平台，可用于构建成熟的事件驱动应用程序。它可以嵌入到 Java 和 Python 应用程序中，作为微服务在裸机、VM 或 Docker 上运行，并在 Kubernetes 中大规模本地运行。 本商品是作为本地微服务的方式在使用，并且扩展运行将时间发布到OBS桶中 查看详情

Logstash-OBS-服务支持

2024-07-13 11:18:45

服务内容：如果一键部署出现异常，可寻求帮助 服务时间：周一至周六 9:00~11:50 14:00~18:00 服务电话：1737504510 服务邮箱：1441256632@qq.com 服务微信：xnx3com 使用指南： Logstash-OBS使用指南 下载 查看商品详情 立即下载

Logstash-OBS-产品介绍

2024-07-13 11:18:44

适用于：Linux 商品简介：Logstash是一个开源的服务器端数据处理管道，支持各种输入选择，可以同时从多个数据源获取数据，可以在同一时间从众多常用来源捕捉事件 商品亮点：内置华为云OBS对象存储 商品说明 版本: V1.0 交付方式: 镜像 适用于: Linux 上架日期: 2023-04-21 11:55:04.0 Logstash是一个 开源 的服务器端数据处理管道，支持各种输入选择，可以同时从多个数据源获取数据，可以在同一时间从众多常用来源捕捉事件。能够以连续的流式传输方式，轻松地从您的日志、指标、Web 应用、数据存储等采集数据，并对其进行转换，然后将其发送到目标存储。 本商品利用Logstash的数据源扩展机制，使Logstash可以使用obs作为输入，输出数据源。 这里提供的是 镜像 部署方式。 查看详情

Streamsets数据集成平台-产品介绍

2024-07-13 11:18:41

适用于：Linux 商品简介：StreamSets是一种 数据集成平台 ，旨在帮助组织实时地移动、转换和处理数据。它提供了一种可视化、可扩展和易于使用的方式，用于构建数据流水线，将数据从不同来源提取、传输到目标系统，同时可以对数据进行必要的转换和处理。 商品亮点：一键部署,内置OBS对象存储作为数据源 商品说明 版本: V1.0 交付方式: 镜像 适用于: Linux 上架日期: 2023-10-25 07:25:17.0 StreamSets的主要功能和特点包括： ①数据采集：StreamSets支持从各种数据源（例如 数据库 、日志文件、消息队列、 云存储 等）中提取数据。 ②数据转换：用户可以定义数据处理和转换规则，以确保数据在传输过程中得到适当的格式化和清洗。 ③可视化界面：StreamSets提供直观的可视化界面，使用户能够轻松地构建和管理数据流水线，而无需编写复杂的代码。 ④实时数据处理：它支持实时数据流，可以在数据到达时立即进行处理和传递，适用于实时分析和监控。 ⑤可扩展性：StreamSets是可扩展的，允许用户编写自定义插件和扩展，以满足特定的 数据集 成需求。 ⑥数据质量和监控：提供数据质量检查和监控功能，帮助用户确保数据的一致性和准确性。 ⑦安全性：具备安全控制功能，以确保数据的保密性和完整性。 StreamSets的主要目标是简化数据集成过程，使组织能够更轻松地管理和流动数据，从而支持数据驱动的决策和分析。 其中本商品新增了数据源OBS。 查看详情

Flink流数据分析工具-服务支持

2024-07-13 11:18:41

服务内容：如果一键部署出现异常，可寻求帮助 服务时间：周一至周六 9:00~11:50 14:00~18:00 服务电话：18362962787 服务邮箱：lsmforwork@outlook.com 服务微信：xnx3com 使用指南： Flink流数据分析工具 下载 查看商品详情 立即下载

Flink流数据分析工具-产品介绍

2024-07-13 11:18:40

适用于：Linux 商品简介：Flink是一个分布式的流数据处理引擎，常用于实数数据的分析处理工作。本商品基于Huawei Cloud EulerOS 2.0 64bit系统，提供开箱即用的Flink服务。 商品亮点：提供开箱即用的Flink服务。可以免去用户下载Flink二进制文件，设置环境变量的过程。 商品说明 版本: V1.0 交付方式: 镜像 适用于: Linux 上架日期: 2023-02-06 07:35:04.0 Flink是一个流行的分布式的流数据处理引擎，常用于无边界和有边界数据流的分析处理工作。Flink有几大特点： 集成所有常见的集群资源管理器，例如Hadoop YARN、Kuebrnetes等，也支持独立集群运行 同时支持批处理和流处理两种数据处理方式 具有精准的时间控制，支持基于事件发生事件、事件处理事件等多种形式的时间窗口 具有状态托管机制，可以基于历史状态进行数据处理，支持将状态数据存放在内存中，所以具有极高的运行速度。 本商品基于Huawei Cloud EulerOS 2.0 64bit系统，提供开箱即用的Flink服务。可以免去用户下载Flink二进制文件，设置环境变量的过程。具体安装的软件及版本情况如下： 部署java JDK，部署openjdk，版本号为11.0.16 部署Flink，版本号为1.16.0，位于/opt/flink-1.16.0/路径下。 新增环境变量，修改路径位于/etc/profile 查看详情

Apache Hudi-产品介绍

2024-07-13 11:18:38

适用于：Linux 商品简介：Apache Hudi是下一代流 数据湖 平台，它直接在数据湖中引入了核心的仓库和数据库功能。Hudi提供了两种原语，使得除了经典的批处理之外，还可以在数据湖上进行流处理。 商品亮点：内置OBS作为连接源 商品说明 版本: V1.0 交付方式: 镜像 适用于: Linux 上架日期: 2023-11-07 02:10:46.0 Apache Hudi，也被发音为“hoodie”，是下一代流 数据湖 平台。它直接在数据湖中引入了核心的仓库和 数据库 功能。Hudi提供了两种原语，使得除了经典的批处理之外，还可以在数据湖上进行流处理。此外，Hudi还支持表、事务、高效的upserts/删除、高级索引、流式摄取服务、数据群集/压缩优化以及并发，同时保持数据以 开源 文件格式保留。 以下是Apache Hudi的一些主要特性： ①支持多种类型操作：Hudi表允许多种类型操作，包括非常常用的upsert。为了支持upsert，Hudi依赖索引机制来定位记录在哪些文件中。 ②支持分区和非分区 数据集 ：Hudi支持分区和非分区的数据集。分区数据集是将一组文件（数据）放在称为分区的桶中的数据集。 ③使用索引加快更删操作：对于Copy-On-Write表，索引能加快更删的操作，因为避免了通过连接整个数据集来决定哪些文件需要重写。对于Merge-On-Read表，这个设计，对于任意给定的基文件，能限定要读取的文件范围。 ④支持事务：Hudi支持事务，这使得在处理大量数据时可以确保数据的完整性和一致性。 ⑤高效的upserts/删除：Hudi提供高效的upserts和删除操作，这对于实时或近实时数据处理的场景非常有用。 ⑥高级索引：Hudi支持高级索引，这使得用户可以更快地查询和检索数据。 ⑦流式摄取服务：Hudi支持流式摄取服务，这使得用户可以实时将数据添加到数据湖中。 ⑧数据群集/压缩优化以及并发：Hudi支持数据群集、压缩优化以及并发，这使得它在处理大量数据时能够保持高效和可扩展性。 查看详情

Airbyte-OBS-产品介绍

2024-07-13 11:18:36

适用于：Linux 商品简介：Airbyte 是一款开源的数据集成平台，旨在简化数据采集、同步和传输的工作流程。它的目标是使数据工程师和数据科学家能够轻松地从各种源头（例如数据库、API、日志文件等）收集和传输数据，以供进一步分析和处理。 商品亮点：内置OBS对象存储作为输入，输出数据源 商品说明 版本: V1.0 交付方式: 镜像 适用于: Linux 上架日期: 2023-10-13 08:23:58.0 Airbyte 是一款 开源 的 数据集成平台 ，旨在简化数据采集、同步和传输的工作流程。它的目标是使数据工程师和数据科学家能够轻松地从各种源头（例如 数据库 、API、日志文件等）收集和传输数据，以供进一步分析和处理。 以下是 Airbyte 的一些主要特点和功能： 多源支持：Airbyte 支持从各种数据源中提取数据，包括数据库（如MySQL、PostgreSQL、MongoDB等）、API（如Google Analytics、Salesforce等）、文件（如CSV、JSON、Parquet等）、日志和许多其他数据源。 连接器生态系统：Airbyte 提供了一个连接器生态系统，其中包括多个连接器，可用于从不同源头获取数据。这些连接器可通过配置文件进行设置，从而轻松地连接到数据源并提取数据。 可扩展性：您可以编写自定义连接器，以满足特定的 数据集 成需求。Airbyte 提供了一套开发工具和文档，以支持连接器的开发和扩展。 简化配置：Airbyte 提供直观的用户界面，使用户能够轻松配置数据采集任务和数据同步工作流程，而无需深入了解数据集成的复杂性。 调度和监控：Airbyte 允许您安排数据同步任务的执行，以确保数据的定期更新。它还提供了监控和警报功能，以跟踪任务的运行状况。 开源和社区支持：Airbyte 是开源项目，拥有活跃的社区支持。这意味着您可以免费使用它，并且可以参与社区，共享和获取有关数据集成的最佳实践和 解决方案 。 数据转换和模式管理：Airbyte 支持对数据进行转换和清理，以满足目标 数据仓库 的要求。它还能够管理数据的模式，以确保数据的一致性。 多种目标数据仓库：Airbyte 支持将数据传输到各种目标数据仓库，包括 数据湖 、数据仓库（如Snowflake、Redshift、BigQuery等）和其他数据存储系统。 本商品利用Airbyte的数据源扩展机制，使Airbyte可以使用obs作为输入，输出数据源。 这里提供的是 镜像 部署方式 查看详情

jenkins-plugins持续集成工具-服务支持

2024-07-13 11:18:35

服务内容：如果一键部署出现异常，可寻求帮助 服务时间：周一至周六 9:00~11:50 14:00~18:00 服务电话：1737504510 服务邮箱：1441256632@qq.com 服务微信：xnx3com 使用指南： Jenkins-plugins持续集成工具使用指南 下载 查看商品详情 立即下载

jenkins-plugins持续集成工具-产品介绍

2024-07-13 11:18:34

适用于：Linux 商品简介：Jenkins是一个开源的持续集成工具，用于监控持续重复的工作，旨在提供一个开放易用的软件平台，使软件项目可以进行持续集成。 商品亮点：一键部署,内置华为云OBS对象存储,内置华为云codeArts 部分产品,内置华为云web 漏洞扫描服务 商品说明 版本: V1.0 交付方式: 镜像 适用于: Linux 上架日期: 2023-05-19 03:27:17.0 Jenkins是一个 开源 的持续集成工具，用于监控持续重复的工作，具有 自动化 构建、测试和部署等功能，旨在提供一个开放易用的软件平台，使软件项目可以进行持续集成。Jenkins其中一大特点就是基于插件的高可扩展性，它的许多功能都是通过插件进行集成的。 本商品利用Jenkins的插件机制，集成OBS作为Jenkins构建文件的存储容器。集成codeArts codeCheck为代码仓进行代码检查，集成codeArts pipeline进行自动化测试，和VSS对Web 漏洞扫描 ，并且结果通过 SMN 服务进行消息发送，跟根据需求进行灵活配置 这里提供了两种部署方式， 镜像 部署方式跟 资源编排 的部署方式。推荐使用资源编排方式，一键自动创建服务器、安全组、VPC等相关资源。如果您想使用镜像部署的方式，云资源的配置如下图所示： 查看详情

Weaviate-OBS-产品介绍

2024-07-13 11:18:32

适用于：Linux 商品简介：Weaviate 是一个开源的向量数据库，可以同时存储对象和向量，将向量搜索和结构化过滤相结合， 从而创建一个稳健、故障容许的搜索引擎。 商品亮点：一键部署,支持OBS对象存储 商品说明 版本: V1.0 交付方式: 镜像 适用于: Linux 上架日期: 2023-10-27 06:02:49.0 Weaviate 是一个 开源 的向量 数据库 ，可以同时存储对象和向量，将向量搜索和结构化过滤 (structured filtering) 相结合， 从而创建一个稳健、故障容许的搜索引擎。它能对不同媒体类型（文本、图像等）提供开箱即用的支持，并提供语义搜索、问答提取、分类、可定制模型 (PyTorch/TensorFlow/Keras) 等 Weaviate 可以轻松使用最先进的 AI 模型，同时提供向量数据库的可扩展性、易用性、安全性和成本效益。 Weaviate支持使用 对象存储 对数据进行备份和恢复，本商品在备份功能上提供了华为云 对象存储OBS 服务的扩展。 weaviate拥有以下特性： 1.速度：Weaviate可以在几毫秒内从数百万个对象中快速搜索出最近的10个邻居。 2.灵活性：使用Weaviate，可以在导入或上传自己的数据时对数据进行矢量化，可以利用与OpenAI, Cohere, HuggingFace等平台集成的模块。 3.快速部署：从原型到大规模生产，Weaviate都强调可伸缩性、复制和安全性。 4.搜索扩展:除了快速矢量搜索，Weaviate还提供推荐、摘要和神经搜索框架集成。 查看详情

Airflow编排调度平台-服务支持

2024-07-13 11:18:32

服务内容：如果一键部署出现异常，可寻求帮助 服务时间：周一至周六 9:00~11:50 14:00~18:00 服务电话：18362962787 服务邮箱：lsmforwork@outlook.com 服务微信：xnx3com 使用指南： Airflow编排调度平台 下载 查看商品详情 立即下载

Airflow编排调度平台-产品介绍

2024-07-13 11:18:31

适用于：Linux 商品简介：Airflow是一个编排调度平台，用于以编程方式编写、计划和监控工作流，并提供Web界面，有助于管理工作流的状态。 商品亮点：提供开箱即用的Airflow服务，避免繁琐的环境变量配置和部署部分。,集成华为云OBS、DWS、 CDM 、DataArts、DLI、SMN服务。,图形化界面管理，高效清晰。 商品说明 版本: V1.0 交付方式: 镜像 适用于: Linux 上架日期: 2023-04-10 09:25:05.0 Airflow编排调度平台，用于开发、调度和监控面向批处理的工作流。Airflow的可扩展Python框架使您能够构建与几乎任何技术连接的工作流。并提供Web界面，有助于管理工作流的状态。 本商品基于Huawei Cloud EulerOS 2.0 64bit系统，提供开箱即用的Airflow服务，采用 镜像 部署的方式进行部署。使用Python代码实现管道的能力允许您使用Python中可以想象的任何东西创建任意复杂的管道。 Airflow工作流的主要特点是所有工作流都在 Python 代码中定义。“工作流即代码”有多种用途： 动态：Airflow 管道配置为 Python 代码，允许动态管道生成。 可扩展：Airflow 框架包含与众多技术连接的操作符。所有 Airflow 组件都是可扩展的，可以轻松适应您的环境。 灵活：工作流参数化是内置的，利用了Jinja模板引擎。 任务是基本的执行单位，包括从 数据库 中读取数据、处理数据、将数据存储在数据库中等。在Airflow中，有三种基本类型的任务： 运算符（Operator）：用于构建大多数任务（Tasks）的预定义模板。 传感器（Sensors）：一种特殊类型的Operator，旨在只做一件事——等待某事发生。它可以是基于时间的，或者等待一个文件，或者一个外部事件，但他们所做的只是等待，直到有事情发生，然后成功，这样他们的下游任务才能运行。 任务流（TaskFlow）：实现在数据管道中共享数据。 查看详情

Apache Drill-产品介绍

2024-07-13 11:18:29

适用于：Linux 商品简介：Apache Drill是一个开源的分布式SQL查询引擎，旨在处理大规模数据集。 商品亮点：内置OBS对象存储作为数据源 商品说明 版本: V1.0 交付方式: 镜像 适用于: Linux 上架日期: 2023-10-20 06:03:53.0 以下是关于Apache Drill的一些重要信息： ①分布式SQL查询引擎：Apache Drill允许用户使用标准SQL查询结构化和半结构化数据，无论数据存储在何处，无需预定义模式。这使得它非常适合在 大数据 生态系统中查询和分析数据。 ②架构灵活性：Drill的架构设计非常灵活，可以查询各种数据存储系统，包括Hadoop Distributed File System (HDFS)，NoSQL 数据库 ，关系数据库， 云存储 （S3/Azure Blob/OBS等），以及本地文件系统。这使得它成为一个强大的数据访问工具。 ③支持半结构化数据：与传统关系数据库不同，Drill可以处理半结构化数据，如JSON、Parquet、Avro等。这使得它适用于处理多种数据格式。 ④分布式性能：Drill是一个分布式查询引擎，可以并行执行查询，从而提供高性能的数据处理。它可以利用集群中的多个节点来加速查询。 ⑤兼容性：Drill兼容标准SQL，因此用户可以使用熟悉的SQL查询语言来查询数据。它还支持多种客户端工具，如Tableau、Qlik、和Apache Superset等。 ⑥实时查询：Drill支持实时查询，这意味着用户可以与数据源保持连接，并根据数据的变化进行动态查询。 ⑦可扩展性：Drill可以轻松扩展以处理更多数据和更大的工作负载。用户可以根据需要添加新的节点。 ⑧ 开源 和活跃的社区：Apache Drill是一个开源项目，具有活跃的社区支持，因此它不断得到更新和改进。 总之，Apache Drill是一个强大的工具，用于查询和分析分布式数据存储中的大规模数据。它的灵活性、性能和SQL兼容性使其成为大数据处理和分析的有力工具。 查看详情

共16434条

为您推荐

L实例 在线语音转文字 通用文字识别 对象存储OBS IoT全栈云服务 安全合规服务 文字语音识别 OCR图片文字识别 扫描图片识别文字 录音转文字