Airbyte-OBS-产品介绍

2024-07-13 11:18:36

适用于:Linux 商品简介:Airbyte 是一款 开源 数据集成平台 ,旨在简化数据采集、同步和传输的工作流程。它的目标是使数据工程师和数据科学家能够轻松地从各种源头(例如 数据库 、API、日志文件等)收集和传输数据,以供进一步分析和处理。 商品亮点:内置OBS 对象存储 作为输入,输出数据源 商品说明 版本: V1.0 交付方式: 镜像 适用于: Linux 上架日期: 2023-10-13 08:23:58.0 Airbyte 是一款 开源 的 数据集 成平台 ,旨在简化数据采集、同步和传输的工作流程。它的目标是使数据工程师和数据科学家能够轻松地从各种源头(例如 数据库 、API、日志文件等)收集和传输数据,以供进一步分析和处理。 以下是 Airbyte 的一些主要特点和功能: 多源支持:Airbyte 支持从各种数据源中提取数据,包括数据库(如MySQL、PostgreSQL、MongoDB等)、API(如Google Analytics、Salesforce等)、文件(如CSV、JSON、Parquet等)、日志和许多其他数据源。 连接器生态系统:Airbyte 提供了一个连接器生态系统,其中包括多个连接器,可用于从不同源头获取数据。这些连接器可通过配置文件进行设置,从而轻松地连接到数据源并提取数据。 可扩展性:您可以编写自定义连接器,以满足特定的 数据集 成需求。Airbyte 提供了一套开发工具和文档,以支持连接器的开发和扩展。 简化配置:Airbyte 提供直观的用户界面,使用户能够轻松配置数据采集任务和数据同步工作流程,而无需深入了解数据集成的复杂性。 调度和监控:Airbyte 允许您安排数据同步任务的执行,以确保数据的定期更新。它还提供了监控和警报功能,以跟踪任务的运行状况。 开源和社区支持:Airbyte 是开源项目,拥有活跃的社区支持。这意味着您可以免费使用它,并且可以参与社区,共享和获取有关数据集成的最佳实践和 解决方案 。 数据转换和模式管理:Airbyte 支持对数据进行转换和清理,以满足目标 数据仓库 的要求。它还能够管理数据的模式,以确保数据的一致性。 多种目标数据仓库:Airbyte 支持将数据传输到各种目标数据仓库,包括 数据湖 、数据仓库(如Snowflake、Redshift、BigQuery等)和其他数据存储系统。 本商品利用Airbyte的数据源扩展机制,使Airbyte可以使用obs作为输入,输出数据源。 这里提供的是 镜像 部署方式 查看详情

jenkins-plugins持续集成工具-服务支持

2024-07-13 11:18:35

服务内容:如果一键部署出现异常,可寻求帮助 服务时间:周一至周六 9:00~11:50 14:00~18:00 服务电话:1737504510 服务邮箱:1441256632@qq.com 服务微信:xnx3com 使用指南: Jenkins-plugins持续集成工具使用指南 下载 查看商品详情 立即下载

jenkins-plugins持续集成工具-产品介绍

2024-07-13 11:18:34

适用于:Linux 商品简介:Jenkins是一个开源的持续集成工具,用于监控持续重复的工作,旨在提供一个开放易用的软件平台,使软件项目可以进行持续集成。 商品亮点:一键部署,内置华为云OBS对象存储,内置华为云codeArts 部分产品,内置华为云web 漏洞扫描服务 商品说明 版本: V1.0 交付方式: 镜像 适用于: Linux 上架日期: 2023-05-19 03:27:17.0 Jenkins是一个 开源 的持续集成工具,用于监控持续重复的工作,具有 自动化 构建、测试和部署等功能,旨在提供一个开放易用的软件平台,使软件项目可以进行持续集成。Jenkins其中一大特点就是基于插件的高可扩展性,它的许多功能都是通过插件进行集成的。 本商品利用Jenkins的插件机制,集成OBS作为Jenkins构建文件的存储容器。集成codeArts codeCheck为代码仓进行代码检查,集成codeArts pipeline进行自动化测试,和VSS对Web 漏洞扫描 ,并且结果通过 SMN 服务进行消息发送,跟根据需求进行灵活配置 这里提供了两种部署方式, 镜像 部署方式跟 资源编排 的部署方式。推荐使用资源编排方式,一键自动创建服务器、安全组、VPC等相关资源。如果您想使用镜像部署的方式,云资源的配置如下图所示: 查看详情

Weaviate-OBS-产品介绍

2024-07-13 11:18:32

适用于:Linux 商品简介:Weaviate 是一个开源的向量数据库,可以同时存储对象和向量,将向量搜索和结构化过滤相结合, 从而创建一个稳健、故障容许的搜索引擎。 商品亮点:一键部署,支持OBS对象存储 商品说明 版本: V1.0 交付方式: 镜像 适用于: Linux 上架日期: 2023-10-27 06:02:49.0 Weaviate 是一个 开源 的向量 数据库 ,可以同时存储对象和向量,将向量搜索和结构化过滤 (structured filtering) 相结合, 从而创建一个稳健、故障容许的搜索引擎。它能对不同媒体类型(文本、图像等)提供开箱即用的支持,并提供语义搜索、问答提取、分类、可定制模型 (PyTorch/TensorFlow/Keras) 等 Weaviate 可以轻松使用最先进的 AI 模型,同时提供向量数据库的可扩展性、易用性、安全性和成本效益。 Weaviate支持使用 对象存储 对数据进行备份和恢复,本商品在备份功能上提供了华为云 对象存储OBS 服务的扩展。 weaviate拥有以下特性: 1.速度:Weaviate可以在几毫秒内从数百万个对象中快速搜索出最近的10个邻居。 2.灵活性:使用Weaviate,可以在导入或上传自己的数据时对数据进行矢量化,可以利用与OpenAI, Cohere, HuggingFace等平台集成的模块。 3.快速部署:从原型到大规模生产,Weaviate都强调可伸缩性、复制和安全性。 4.搜索扩展:除了快速矢量搜索,Weaviate还提供推荐、摘要和神经搜索框架集成。 查看详情

Airflow编排调度平台-服务支持

2024-07-13 11:18:32

服务内容:如果一键部署出现异常,可寻求帮助 服务时间:周一至周六 9:00~11:50 14:00~18:00 服务电话:18362962787 服务邮箱:lsmforwork@outlook.com 服务微信:xnx3com 使用指南: Airflow编排调度平台 下载 查看商品详情 立即下载

Airflow编排调度平台-产品介绍

2024-07-13 11:18:31

适用于:Linux 商品简介:Airflow是一个编排调度平台,用于以编程方式编写、计划和监控工作流,并提供Web界面,有助于管理工作流的状态。 商品亮点:提供开箱即用的Airflow服务,避免繁琐的环境变量配置和部署部分。,集成华为云OBS、DWS、 CDM 、DataArts、DLI、SMN服务。,图形化界面管理,高效清晰。 商品说明 版本: V1.0 交付方式: 镜像 适用于: Linux 上架日期: 2023-04-10 09:25:05.0 Airflow编排调度平台,用于开发、调度和监控面向批处理的工作流。Airflow的可扩展Python框架使您能够构建与几乎任何技术连接的工作流。并提供Web界面,有助于管理工作流的状态。 本商品基于Huawei Cloud EulerOS 2.0 64bit系统,提供开箱即用的Airflow服务,采用 镜像 部署的方式进行部署。使用Python代码实现管道的能力允许您使用Python中可以想象的任何东西创建任意复杂的管道。 Airflow工作流的主要特点是所有工作流都在 Python 代码中定义。“工作流即代码”有多种用途: 动态:Airflow 管道配置为 Python 代码,允许动态管道生成。 可扩展:Airflow 框架包含与众多技术连接的操作符。所有 Airflow 组件都是可扩展的,可以轻松适应您的环境。 灵活:工作流参数化是内置的,利用了Jinja模板引擎。 任务是基本的执行单位,包括从 数据库 中读取数据、处理数据、将数据存储在数据库中等。在Airflow中,有三种基本类型的任务: 运算符(Operator):用于构建大多数任务(Tasks)的预定义模板。 传感器(Sensors):一种特殊类型的Operator,旨在只做一件事——等待某事发生。它可以是基于时间的,或者等待一个文件,或者一个外部事件,但他们所做的只是等待,直到有事情发生,然后成功,这样他们的下游任务才能运行。 任务流(TaskFlow):实现在数据管道中共享数据。 查看详情

Apache Drill-产品介绍

2024-07-13 11:18:29

适用于:Linux 商品简介:Apache Drill是一个开源的分布式SQL查询引擎,旨在处理大规模数据集。 商品亮点:内置OBS对象存储作为数据源 商品说明 版本: V1.0 交付方式: 镜像 适用于: Linux 上架日期: 2023-10-20 06:03:53.0 以下是关于Apache Drill的一些重要信息: ①分布式SQL查询引擎:Apache Drill允许用户使用标准SQL查询结构化和半结构化数据,无论数据存储在何处,无需预定义模式。这使得它非常适合在 大数据 生态系统中查询和分析数据。 ②架构灵活性:Drill的架构设计非常灵活,可以查询各种数据存储系统,包括Hadoop Distributed File System (HDFS),NoSQL 数据库 ,关系数据库, 云存储 (S3/Azure Blob/OBS等),以及本地文件系统。这使得它成为一个强大的数据访问工具。 ③支持半结构化数据:与传统关系数据库不同,Drill可以处理半结构化数据,如JSON、Parquet、Avro等。这使得它适用于处理多种数据格式。 ④分布式性能:Drill是一个分布式查询引擎,可以并行执行查询,从而提供高性能的数据处理。它可以利用集群中的多个节点来加速查询。 ⑤兼容性:Drill兼容标准SQL,因此用户可以使用熟悉的SQL查询语言来查询数据。它还支持多种客户端工具,如Tableau、Qlik、和Apache Superset等。 ⑥实时查询:Drill支持实时查询,这意味着用户可以与数据源保持连接,并根据数据的变化进行动态查询。 ⑦可扩展性:Drill可以轻松扩展以处理更多数据和更大的工作负载。用户可以根据需要添加新的节点。 ⑧ 开源 和活跃的社区:Apache Drill是一个开源项目,具有活跃的社区支持,因此它不断得到更新和改进。 总之,Apache Drill是一个强大的工具,用于查询和分析分布式数据存储中的大规模数据。它的灵活性、性能和SQL兼容性使其成为大数据处理和分析的有力工具。 查看详情

Thanos-OBS-服务支持

2024-07-13 11:18:28

服务内容:如果一键部署出现异常,可寻求帮助 服务时间:周一至周六 9:00~11:50 14:00~18:00 服务电话:1737504510 服务邮箱:1441256632@qq.com 服务微信:xnx3com 使用指南: Thanos-OBS使用指南 下载 查看商品详情 立即下载

Thanos-OBS-产品介绍

2024-07-13 11:18:27

适用于:Linux 商品简介:Thanos是一个用于解决大规模Prometheus部署、增强Prometheus高可用的工具,Thanos支持将历史监控数据存储到对象存储中,提供监控数据的可靠性。 商品亮点:一键部署 ,内置华为云OBS对象存储 商品说明 版本: V1.0 交付方式: 镜像 适用于: Linux 上架日期: 2023-04-12 04:15:05.0 Thanos是主要用于解决大规模Prometheus部署、增强Prometheus高可用的工具。 Prometheus本身只支持单机部署,没有自带集群模式,所以大规模集群监控主要通过Prometheus联邦机制或者做监控指标服务拆分方式去实现,主要痛点是Prometheus对于监控历史数据的存储问题,本地存储数据量有限,只能通过远端存储接口,存储到支持Prometheus远端存储接口的 数据库 中。 Prometheus官方高可用的方式是通过部署多个Prometheus实例采集同一个target,前端通过LB设备做为统一入口,这带来的问题就是,两个prometheus实例内存储的数据会存在差异,特别是当其中一个Prometheus宕机后,另外一个prometheus接管服务,此时宕机的Prometheus就会丢失宕机期间的监控数据,当LB的请求转发过来会出现数据不一致情况。 Thanos能够解决上述问题,Thanos能够将多个Prometheus实例的数据进行聚合去重,来支持Prometheus横向扩展和提高Prometheus的高可用性,同时也支持将历史监控数据存储到 对象存储 中,提供监控数据的可靠性,降低运维难度。 本商品基于Thanos的扩展机制,提供针对华为云 对象存储OBS 服务的扩展。- 这里提供了两种部署方式, 镜像 部署方式跟Terraform 资源编排 的部署方式。推荐使用Terraform资源编排方式,一键自动创建服务器、安全组、VPC等相关资源。 查看详情

druid-OBS持续集成工具-服务支持

2024-07-13 11:18:27

服务内容:如果一键部署出现异常,可寻求帮助 服务时间:周一至周六 9:00~11:50 14:00~18:00 服务电话:15871724935 服务邮箱:dingxiang26@h-partners.com 使用指南: druid-obs集成工具 下载 查看商品详情 立即下载

druid-OBS持续集成工具-产品介绍

2024-07-13 11:18:26

适用于:Linux 商品简介:Apache Druid专为需要快速数据查询与摄入的工作流程而设计,在即时数据可见性、即席查询、运营分析以及高并发等方面表现非常出色。 商品亮点:提供开箱即用的Druid服务。可以免去用户下载Druid二进制文件,设置环境变量的过程。 商品说明 版本: V1.0 交付方式: 镜像 适用于: Linux 上架日期: 2023-04-21 07:45:07.0 Apache Druid专为需要快速数据查询与摄入的工作流程而设计,在即时数据可见性、即席查询、运营分析以及高并发等方面表现非常出色。通过HDFS接口对接OBS,使用OBS提供的OBSA-HDFS工具,无需重新编译druid,将OBS配置为deep storage。 Apache Druid具有如下特点:支持亚秒级的交互式查询。例如,多维过滤、Ad-hoc的属性分组和快速聚合数据。 支持实时的数据消费。 支持多租户同时在线查询。 支持PB级数据、千亿级事件快速处理,支持每秒数千查询并发。 支持高可用,并且滚动升级。 实时数据分析是Apache Druid最典型的使用场景。该场景涵盖的面很广,例如:实时指标监控 推荐模型 广告平台 搜索模型 本商品基于Huawei Cloud EulerOS 2.0 64bit系统,提供开箱即用的druid服务,采用 镜像 部署的方式进行部署,可以免去下载druid二进制文件,具体修改点如下: l 部署druid 部署druid,版本号为0.18.0,位于/opt/druid/路径下。 查看详情

CrateDB-OBS-产品介绍

2024-07-13 11:18:24

适用于:Linux 商品简介:CrateDB是一个基于Elasticsearch的开源分布式SQL数据库,具有高可靠、水平高可扩、查询分析性能高效等特点,可广泛用于时间序列数据和日志类数据的存储。 商品亮点:内置OBS作为数据源 商品说明 版本: V1.0 交付方式: 镜像 适用于: Linux 上架日期: 2023-11-21 09:00:45.0 CrateDB 是一个分布式 SQL 数据库 ,可以轻松地实时存储和分析大量机器数据。 CrateDB的特点: 标准 SQL 加上动态模式、可查询对象、地理空间特征、时间序列数据、一流的 BLOB 支持和实时全文搜索。 水平可扩展、高可用、容错的集群,在 虚拟化 和容器化环境中运行良好。 极快的分布式查询执行。 自动分区、自动分片和自动复制。 自我修复和自动重新平衡。 CrateDB 提供通常与 NoSQL 数据库相关的可扩展性和灵活性,旨在在廉价的商用服务器上运行,并且可以跨任何类型的网络部署和运行。从个人计算机到多区域混合云。 最小的 CrateDB 集群每秒可以轻松摄取数万条记录。并且可以在整个集群中实时、临时、并行地查询这些数据。 查看详情

Apache Hop数据集成平台-产品介绍

2024-07-13 11:18:22

适用于:Linux 商品简介:Apache Hop,是一个开源的数据集成工具。它致力于促进数据和元数据的编排,使得数据专业人员能够以可视化的方式进行工作,使用元数据描述数据处理方式。 商品亮点:一键部署,VFS新增OBS连接类型,提供WEB-UI 商品说明 版本: V1.0 交付方式: 镜像 适用于: Linux 上架日期: 2023-11-09 01:39:09.0 Apache Hop,是一个 开源 的 数据集 成工具。它致力于促进数据和元数据的编排,使得数据专业人员能够以可视化的方式进行工作,使用元数据描述数据处理方式。 以下是Apache Hop的一些主要特性: ①可视化开发工具:Hop提供了一种可视化开发工具,对于那些喜欢在不编写任何代码的情况下构建管道的人来说,它可以提高开发人员的工作效率并减少他们的畏惧感。这种对手头任务的关注让Hop开发人员比编写代码时更有效率。 ②易于使用、快速和灵活:Hop的设计着眼于易用性、速度和灵活性,旨在成为数据集成的未来。用户可以专注于解决问题,而不受技术的阻碍。 ③版本控制和流水线单元测试:Apache Hop认识到工作流和管道是任何数据工程项目中的主力,但只是数据工程和数据编排项目生命周期中的一个方面。通过集成版本控制、流水线单元测试以及与 CI/CD 平台集成,可以在整个项目生命周期环境中管理 Apache Hop 项目。 ④执行信息记录:Apache Hop 2.1.0 版本中的主要新特性之一就是执行信息日志记录,这对于跟踪和调试工作流程和管道非常有用。 查看详情

智能温湿度监测终端-服务支持

2024-07-13 11:16:51

售后服务时间:周一到周五9:00-18:00 售后服务内容:售后服务时间:5 * 8小时 售后服务内容:电话指导、客服服务 服务热线:0371-63330395 服务邮箱:js@jinshutech.com 服务热线:0371-63330395 服务邮箱:js@jinshutech.com 使用指南: 技术规格书.docx 下载 查看商品详情 立即下载

智能温湿度监测终端-产品介绍

2024-07-13 11:16:50

适用于:其他/Windows 商品简介:智能温湿度监测终端:实时、精准监测环境温湿度并远程传输数据的智能设备。 商品亮点:Sub-G无线,2.4英寸TFT显示屏 商品说明 版本: V3.2 交付方式: 硬件 适用于: 其他/Windows 上架日期: 2024-07-12 01:39:09.0 智能温湿度监测终端具备广泛的量程,能够精确测量温度范围从-40℃至85℃,湿度则从0%RH至100%RH,全面覆盖各种极端与常规环境条件。其测量精度卓越,在0~60℃的温度区间内,误差小于±0.5℃,而在25℃,湿度介于25%~90%RH的条件下,湿度测量误差低于±2%RH,确保数据高度准确可靠。 该终端配备了一块2.4英寸的TFT显示屏,画面清晰,信息展示直观,便于现场即时查看温湿度状况。其响应时间灵活可调,支持1秒至120秒多种模式,满足不同应用场景下的快速或慢速监测需求。 通讯方式上,智能温湿度监测终端支持Sub-G无线通讯和RS485有线通讯,确保了数据的远距离无线传输与本地有线连接双重便捷性。在供电方面,既可采用8500mAh大容量电池供电,保证连续工作两年以上,减少频繁更换电池的麻烦,也支持DC12V直流电源供电,适应不同安装环境的需求。 量程:温度-40℃~85℃,湿度0~100%RH 精度:温度<±0.5℃ (0~60℃),湿度<±2%RH (at 25℃,25~90%RH) 显示:2.4英寸TFT显示屏 响应时间:1s/10s/30s/60s/120s可调 通讯方式:Sub-G无线/RS485 供电方式:电池(8500mAh-2年)/DC12V 查看详情

共16153条