Prefect ECS版-

2025-02-08 10:58:16

适用于:Linux 商品简介:本商品 镜像 已为用户搭建好Prefect所需的运行环境,用户只需购买镜像并根据自身需求选择对应的ECS规格。以更高效率的搭建一个属于自己的Prefect工作流平台。 商品亮点:工作流平台,基于事件的编排 商品说明 版本: V1.0 交付方式: 镜像 适用于: Linux 上架日期: 2023-10-12 09:01:46 Prefect是一款工作流编排工具,使开发人员能够构建、观察数据管道并对其做出反应。 这是将任何Python函数转换为可观察和编排的工作单元的最简单方法。只需带上你的Python代码,搭配上一些装饰器,然后就可以开始了! 使用Prefect,你可以获得以下能力: 调度 重试 记录 异步功能 缓存 通知 可观测性 基于事件的编排 本商品已对华为云OBS进行Prefect的Block拓展,OBS Block已注册至Prefect页面中 查看详情

DeepStream-OBS-

2025-02-08 10:58:16

服务内容:如果一键部署出现异常,可寻求帮助 服务时间:周一至周六 9:00~11:50 14:00~18:00 服务电话:17076012262 服务邮箱:921153866@qq.com 服务微信:xnx3com 使用指南: deepstream.io 镜像使用说明(单机版) 下载 查看商品详情 立即下载

DeepStream-OBS-

2025-02-08 10:58:15

适用于:Linux 商品简介:deepstream是一款 开源 服务器,其灵感来自金融交易技术背后的概念。它允许客户端和后端服务同步数据、发送消息并以非常高的速度和规模规划rpc,本商品额外支持OBS作为存储。 商品亮点:相对于社区版,额外支持OBS 商品说明 版本: V1.0 交付方式: 镜像 适用于: Linux 上架日期: 2023-06-08 13:17:15 deepstream是一款 开源 服务器,其灵感来自金融交易技术背后的概念。它允许客户端和后端服务同步数据、发送消息并以非常高的速度和规模规划rpc,相较于社区版,本商品额外支持OBS作为存储。 查看详情

Twitter Heron-

2025-02-08 10:58:13

适用于:Linux 商品简介:Heron 是一个实时分布式计算引擎,专门设计用于处理大规模的实时数据流。Heron 的目标是提供更好的性能、可伸缩性和可维护性,以替代 Apache Storm。 商品亮点:新增OBS Uploader 商品说明 版本: V1.0 交付方式: 镜像 适用于: Linux 上架日期: 2024-01-03 03:00:24 Heron 是一个实时分布式计算引擎,专门设计用于处理大规模的实时数据流。它最初由 Twitter 开发,并于2016年 开源 。Heron 的目标是提供更好的性能、可伸缩性和可维护性,以替代 Twitter 之前使用的 Apache Storm。 Heron 具有以下特点: 高性能: Heron 在设计上注重性能,并通过多方面的优化提供了更高的吞吐量和低延迟。 可伸缩性: Heron 被设计为可水平扩展的系统,可以轻松地适应不断增长的数据流处理需求。 可维护性: 提供了丰富的监控和故障排除工具,以便更容易地在生产环境中维护和管理。 多语言支持: Heron 支持多种编程语言,包括 Java、Python 和 C++,这使得开发者能够使用他们熟悉的语言进行应用程序开发。 与其他数据流处理框架兼容: Heron 可以与不同的数据流处理框架集成,包括 Apache Storm。这种兼容性使得 迁移 现有的 Storm 应用程序到 Heron 更为容易。 动态调整: Heron 具有动态调整的能力,可以根据工作负载的变化自动调整资源,以确保系统的稳定性和高效性。 容错性: 提供了容错机制,能够在节点故障时进行故障转移,确保处理的数据流不会丢失。 开源: Heron 是开源的,这意味着任何人都可以访问其源代码,并根据自己的需求进行修改和定制。 总体而言,Heron 旨在为实时数据处理提供高性能、可伸缩和可维护的 解决方案 ,适用于需要处理大规模实时数据流的应用场景。 查看详情

Alluxio分布式存储系统-

2025-02-08 10:58:12

适用于:Linux 商品简介:Alluxio是一个开源的分布式文件系统,它提供简单、高效、可靠的存储和管理 大数据 的能力。Alluxio的设计目标是实现对大规模数据的一致性访问,并通过分布式文件系统来提高数据的可用性和可靠性。 商品亮点:内置OBS存储 商品说明 版本: V1.0 交付方式: 镜像 适用于: Linux 上架日期: 2023-11-07 02:01:15 Alluxio由Apache软件基金会托管,并在GitHub上 开源 。它支持多种存储格式,包括HDFS、S3、GCS、OBS等,并且可以与Hadoop、Spark等 大数据 处理框架无缝集成。Alluxio还提供了多种 数据管理 和处理功能,如 数据备份 数据恢复 、数据压缩等,以满足不同场景下的数据需求。 Alluxio的主要特点包括: ①分布式文件系统:Alluxio将数据分散存储在多个节点上,通过网络进行数据传输和访问,从而提高了数据的可用性和可靠性。 ②高效数据访问:Alluxio通过使用索引和缓存技术,实现了对大数据的高效访问。这使得用户可以快速地获取和处理数据,而不需要等待长时间的磁盘I/O操作。 ③数据一致性:Alluxio通过分布式文件系统实现了数据的一致性访问。这意味着即使在多个节点之间发生故障或数据丢失的情况下,用户仍然可以访问到完整的数据。 ④灵活的数据管理:Alluxio提供了多种数据管理和处理功能,如数据备份、数据恢复、数据压缩等,以满足不同场景下的数据需求。 查看详情

JuiceFS-

2025-02-08 10:58:11

服务内容:如果一键部署出现异常,可寻求帮助 服务时间:周一至周六 9:00~11:50 14:00~18:00 服务电话:1737504510 服务邮箱:1441256632@qq.com 服务微信:xnx3com 使用指南: JuiceFS使用指南 下载 查看商品详情 立即下载

JuiceFS-

2025-02-08 10:58:10

适用于:Linux 商品简介:JuiceFS 是一款面向 云原生 设计的高性能分布式文件系统。提供完备的 POSIX 兼容性,可将 对象存储 接入本地作为海量本地磁盘使用,亦可同时在跨平台、跨地区的不同主机上挂挂载读写 商品亮点:内置华为云OBS对象存储 ,分布式缓存服务Redis 商品说明 版本: V1.0 交付方式: 镜像 适用于: Linux 上架日期: 2023-06-08 13:57:15 JuiceFS 是一款面向 云原生 设计的高性能分布式文件系统,在 Apache 2.0 开源 协议下发布。提供完备的 POSIX 兼容性,可将几乎所有 对象存储 接入本地作为海量本地磁盘使用,亦可同时在跨平台、跨地区的不同主机上挂载读写。 JuiceFS 采用「数据」与「元数据」分离存储的架构,从而实现文件系统的分布式设计。文件数据本身会被切分保存在对象存储,而元数据则可以保存在 Redis、MySQL、TiKV、SQLite 等多种 数据库 中,你可以根据场景与性能要求进行选择。 JuiceFS 提供了丰富的 API,适用于各种形式数据的管理、分析、归档、备份,可以在不修改代码的前提下无缝对接 大数据 、机器学习、人工智能等应用平台,为其提供海量、弹性、低价的高性能存储。运维人员不用再为可用性、灾难恢复、监控、扩容等工作烦恼,专注于业务开发,提升研发效率。同时运维细节的简化,对 DevOps 极其友好。 本商品基于华为云 对象存储OBS 提供服务。 查看详情

hadoop生态组件-

2025-02-08 10:58:10

服务内容:如果一键部署出现异常,可寻求帮助 服务时间:周一至周六 9:00~11:50 14:00~18:00 服务电话:15871724935 服务邮箱:dingxiang26@h-partners.com 使用指南: hadoop-obs分布式系统 下载 查看商品详情 立即下载

hadoop生态组件-

2025-02-08 10:58:09

适用于:Linux 商品简介:本商品提供了hadoop生态下,hadoop,spark,hive,flume组件集成OBS 商品亮点:提供开箱即用的hadoop生态服务。可以免去用户下载二进制文件,设置环境变量的过程。 商品说明 版本: V1.0 交付方式: 镜像 适用于: Linux 上架日期: 2023-04-21 07:45:03 Hadoop系统提供了分布式存储、计算和资源调度引擎,用于大规模数据处理和分析。OBS服务实现了Hadoop的HDFS协议,在 大数据 场景中可以替代Hadoop系统中的HDFS服务,实现Spark、MapReduce、Hive等大数据生态与OBS服务的对接,为大数据计算提供“ 数据湖 ”存储。 本 镜像 已经集成了以下组件,并且实现了OBS服务的对接: hive(基于hadoop的 数据仓库 ) 由Facebook 开源 ,最初用于解决海量结构化的日志数据统计问题。 hive定于了一种类似sql的查询语言(hql)将sql转化为mapreduce任务在hadoop上执行。 flume(日志收集工具) cloudera开源的日志收集系统,具有分布式,高可靠,高容错,易于定制和扩展的特点。他将数据从产生,传输,处理并写入目标的路径的过程抽象为数据流,在具体的数据流中,数据源支持在flume中定制数据发送方,从而支持收集各种不同协议数据。 spark: spark是个开源的数据 分析集群计算框架,最初由加州大学伯克利分校AMPLab,建立于HDFS之上。spark与hadoop一样,用于构建大规模,延迟低的数据分析应用。spark采用Scala语言实现,使用Scala作为应用框架。 spark采用基于内存的分布式 数据集 ,优化了迭代式的工作负载以及交互式查询。 与hadoop不同的是,spark与Scala紧密集成,Scala象管理本地collective对象那样管理分布式数据集。spark支持分布式数据集上的迭代式任务,实际上可以在hadoop文件系统上与hadoop一起运行(通过YARN,MESOS等实现) 查看详情

skywalking-gaussdb-jdbc-

2025-02-08 10:58:09

服务内容:如果一键部署出现异常,可寻求帮助 服务时间:周一至周五 9:00~12:00 14:00~18:00 服务电话:19113268837 服务邮箱:opensourcetools@126.com 使用指南: Skywalking Agent 采集 GaussDB 链路-使用指南.docx 下载 查看商品详情 立即下载

skywalking-gaussdb-jdbc-

2025-02-08 10:58:07

适用于:Linux 商品简介:Apache Skywalking是一个开源的应用性能监控系统,专为微服务、云原生和基于容器的架构设计。 商品亮点:监控gaussdb 商品说明 版本: V1.0 交付方式: 镜像 适用于: Linux 上架日期: 2024-01-30 09:43:40 Apache Skywalking是一个 开源 的应用性能监控系统,专为微服务、 云原生 和基于容器的架构设计。它提供了端到端的分布式跟踪、服务拓扑分析、服务中心的可观察性和API仪表板。 本商品利用了 Skywalking Agent 插件机制,让 Agent 支持采集使用了 Gaussdb JDBC Driver 的Java 应用的链路,包括将 Java 应用的http server 链路span 访问gaussdb server 的span进行串联;从而能基于链路从应用调用方统计出慢 SQL 语句以及相应指标。 查看详情

Presto-

2025-02-08 10:58:06

适用于:Linux 商品简介:Presto是Facebook开源的,完全基于内存内存的并⾏计算,分布式SQL交互式查询引擎,采用Massively parallel processing (MPP)架构,多个节点管道式执⾏,⽀持任意数据源,数据规模GB~PB级。 商品亮点:数据源新增OBS类型 商品说明 版本: -- 交付方式: 镜像 适用于: Linux 上架日期: 2024-08-20 06:02:39 Presto 是一个 开源 的分布式查询引擎,旨在为大规模 数据集 提供高效的交互式分析。 以下是 Presto 的一些主要特点: 高性能:Presto 能够支持在 PB 级别的数据上进行快速查询,通常查询响应时间在秒级别。 分布式架构:Presto 采用主从架构,查询可以在多个工作节点上并行执行,从而提高查询效率。 多数据源支持:Presto 支持多种数据源,包括 Hadoop、Cassandra、Kafka、关系型 数据库 以及 云存储 。 SQL 兼容:Presto 使用 ANSI SQL 语言,支持丰富的 SQL 功能,使得用户可以使用熟悉的语言进行查询。 可扩展性:Presto 可根据需要水平扩展,可以轻松添加新的工作节点,以处理更大的数据集和更多的并发查询。 无数据移动:Presto 在查询时不会将数据移动到中心位置,而是在数据源上执行查询,减少了数据传输延迟。 用户友好:提供了丰富的 JDBC 和 ODBC 驱动,方便用户通过多种 BI 工具进行连接和分析。 丰富的插件生态:除了内置的功能,Presto 还支持自定义插件,可以扩展其功能以满足特定需求。 应用场景:Presto 适用于数据分析、商业智能、报表生成等需要快速查询和分析大规模数据的场景,特别是在需要同时访问多个数据源的情况下。 总体而言,Presto 是一个强大且灵活的查询引擎,适合需要高性能和高效数据处理的企业和组织。 查看详情

Pentaho数据集成工具-

2025-02-08 10:58:05

服务内容:一键部署出现异常时,可寻求帮助 服务时间:周一至周五 9:00~11:50 14:00~18:00 服务电话:17375104510 服务邮箱:1441256632@qq.com 服务微信:Acewuye 使用指南: Pentaho使用指南 下载 查看商品详情 立即下载

Pentaho数据集成工具-

2025-02-08 10:58:04

适用于:Linux 商品简介:Pentaho Data Integration简称PDI,又称Kettle,是纯 java 开发,开源的 ETL工具,用于数据库间的 数据迁移 。 商品亮点:一键部署,内置OBS对象存储的输入输出控件,VFS新增OBS连接类型,基于Linux部署,已安装图形化界面 商品说明 版本: V1.0 交付方式: 镜像 适用于: Linux 上架日期: 2023-03-09 07:57:02 Pentaho Data Integration以Java开发,支持跨平台运行,其特性包括:支持100%无编码、拖拽方式开发ETL数据管道;可对接包括传统 数据库 、文件、 大数据 平台、接口、流数据等数据源;支持ETL数据管道加入机器学习算法。 本商品增加了华为云 对象存储服务 (OBS)的输入输出控件,并让虚拟文件系统连接(VFS Connections)支持OBS,同时提供Linux客户端可视化操作界面,并且已经安装部署好所需环境,用户购买ECS后直接登陆使用。 查看详情

Enhanced NiFi-

2025-02-08 10:58:04

服务内容:如果一键部署出现异常,可寻求帮助 服务时间:周一至周六 9:00~11:50 14:00~18:00 服务电话:1737504510 服务邮箱:1441256632@qq.com 服务微信:xnx3com 使用指南: Enhanced version of NiFi 下载 查看商品详情 立即下载

共18292条