Enhanced NiFi-

2025-02-08 10:58:03

适用于:Linux 商品简介:NiFi 是一个易于使用、功能强大而且可靠的流式数据处理和分发系统。NiFi 是为数据流设计,支持从多种数据源动态的拉取数据,并基于WEB图形界面,集成华为云扩展,一键部署 商品亮点:支持通过模板一键部署,购买之后只需等待几分钟,即可使用,集成华为云OBS服务,更多华为 云服务 待添加 商品说明 版本: V1.0 交付方式: 镜像 适用于: Linux 上架日期: 2023-03-08 07:35:05 Enhanced NiFi 简介 NiFi 是一个易于使用、功能强大而且可靠的流式数据处理和分发系统。NiFi 是为数据流设计,支持从多种数据源动态的拉取数据,并基于WEB图形界面,通过拖拽、连接、配置完成基于流程的编程,实现数据采集、处理等功能。 本 镜像 基于NiFi的扩展机制,提供针对华为 云服务 的扩展,目前支持华为云服务如下: OBS ListOBSProcessor 从obs桶中检索对象列表。对于列出的每个对象,创建一个表示该对象的FlowFile,以便与FetchOBSObject一起获取。此处理器设计为仅在集群中的主节点上运行。如果主节点发生了变化,新的主节点将从前一个节点停止的位置开始,而不会复制所有数据 FetchOBSProcessor 检索OBS对象的内容并将其写入到FlowFile的内容中 PutOBSProcessor 从输入的FlowFile中获取文件流,上传到OBS的指定桶,输入可以是FetchOBSProcessor也可以是其他任意包含文件Content的输入;支持大文件切分上传,当异常时可以以最小的损失恢复大型上传 DeleteOBSProcessor 根据输入的FlowFiles删除华为云OBS桶上的文件。如果试图删除一个不存在的文件,FlowFile将被路由到成功。 [备注] 更加详细的使用以及参数明细,请阅读对应Processor的Usage文档 DWS/DLI/ CDM / SMN /DataArts 下一个版本集成... 查看详情

Vitess-OBS-

2025-02-08 10:58:01

适用于:Linux 商品简介:Vitess是一个用于部署、扩展和管理大型MySQ L实例 集群的 数据库 解决方案。 商品亮点:内置OBS 商品说明 版本: V1.0 交付方式: 镜像 适用于: Linux 上架日期: 2023-12-21 02:10:23 Vitess是一个用于部署、扩展和管理大型MySQ L实例 集群的 数据库 解决方案 。Vitess集MySQL数据库的很多重要特性和NoSQL数据库的可扩展性于一体。它的架构设计使得您可以像在物理机上一样在公共云或 私有云 架构中有效运行。它结合并扩展了许多重要的MySQL功能,同时兼具NoSQL数据库的可扩展性。 Vitess能解决以下问题: 1. 支持您对MySQL数据库进行分片来扩展MySQL数据库,应用程序无需做太多更改。 2. 从物理机 迁移 到私有云或公共云。 3. 部署和管理大量的MySQL实例。 Vitess包含兼容的JDBC和Go数据库驱动程序,使用本地查询协议。此外,它实现了与几乎任何其他语言兼容的MySQL服务器协议。Vitess在过去五年中为YouTube的所有数据库流量提供服务。现在许多企业已经采用Vitess来满足其生产需求。 备份和恢复是由 Vitess 管理的分片提供的集成功能。除了用于数据完整性的备份之外,Vitess 还会为在现有分片中配置新的分片表创建和恢复备份。 本商品已对Vitess的备份功能进行华为云OBS 对象存储 的拓展。 查看详情

Pulsar分布式消息流平台-

2025-02-08 10:57:59

适用于:Linux 商品简介:Pulsar是Apache软件基金会的顶级项目,也是下一代 云原生 分布式消息流平台。它集消息、存储、轻量化函数式计算为一体,采用计算与存储分离架构设计。 商品亮点:内置OBS类型的 云存储 连接器 商品说明 版本: V1.0 交付方式: 镜像 适用于: Linux 上架日期: 2023-11-07 02:06:10 Pulsar的主要特性包括: ①支持多种消息模型:Pulsar提供了灵活的消息模型和直观的客户端API,支持发布-订阅模式和点对点模式。 ②持久化存储:Pulsar使用Apache BookKeeper作为其持久化存储,BookKeeper是一个分布式的预写日志(WAL)系统,可以支持创建多个独立的存储库。 ③多租户支持:Pulsar支持多租户,可以为每个租户提供独立的命名空间,以保证数据的安全性和隔离性。 ④高吞吐和强一致性:Pulsar具有高吞吐和强一致性的特性,能够保证大量数据的高效处理和传输。 ⑤Failover模式:在failover模式下,多个consumer允许使用同一个subscription去订阅topic。但是对于给定的topic,broker将选择一个consumer作为该topic的主。 总的来说,Pulsar是一个功能丰富且具有高度扩展性的分布式消息系统,适用于处理大量的数据流和消息传递场景。 查看详情

雷鸣云翻译软件-

2025-02-08 10:57:57

适用于:其他 商品简介:传入html源码、指定好翻译为什么语言,即可对html进行翻译,将其翻译为指定的语种 商品亮点:html文件语言翻译 商品说明 版本: V1.0 交付方式: API 适用于: 其他 上架日期: 2024-05-10 06:05:30 产品功能 对html源码进行翻译,传入一个html源文件,设定上要翻译为什么语种,比如英文,它会立即将当前html文件转换为英文输出。(这里的英文是指html在浏览器中打开显示时,所有在浏览器中会给用户展示出来的文本)(此能力来源于TCDN)接口注意事项: header头要么不设置Content-Type,如果设置的话值是 application/x-www-form-urlencoded post方式提交数据,注意提交数据是 formdata ,而不是 row 限制: 1. 单个html源文件的大小不得超过1MB 2. 要翻译的html源文件语种当前仅支持中文、英文、韩语。如果您有其他语种需要,可单独联系我们 3. 支持翻译的目标语种有百余种,具体可查阅下方的传入参数详细说明 快速体验 快速在线体验的网址为 https://doc.zvo.cn/tcdn/api/doc.html 不需要任何准备,直接粘贴入html,点击翻译,就能看到结果,您可以用来快速体验,以判断本产品是否是你所需要的 程序接入 您可以参考此API文档进行接入 : https://apifox.com/apidoc/shared-a84837d4-1580-4ae2-9e3d-26915c6dbd54 使用其中的代码生成,直接生成代码就能运行了。 API接口中的 X-Apig-AppCode 参数获取 其中的 X-Apig-AppCode参数是通过购买本商品后获得的,购买后查看方式如下图 支持的语种列表一览: corsican:科西嘉语 guarani:瓜拉尼语 kinyarwanda:卢旺达语 hausa:豪萨语 norwegian:挪威语 dutch:荷兰语 yoruba:约鲁巴语 english:英语 gongen:贡根语 latin:拉丁语 nepali:尼泊尔语 french:法语 czech:捷克语 hawaiian:夏威夷语 georgian:格鲁吉亚语 russian:俄语 chinese_simplified:简体中文 persian:波斯语 bhojpuri:博杰普尔语 hindi:印地语 belarusian:白俄罗斯语 swahili:斯瓦希里语 icelandic:冰岛语 yiddish:意第绪语 twi:契维语 irish:爱尔兰语 gujarati:古吉拉特语 khmer:高棉语 slovak:斯洛伐克语 hebrew:希伯来语 kannada:卡纳达语 hungarian:匈牙利语 tamil:泰米尔语 arabic:阿拉伯语 bengali:孟加拉语 azerbaijani:阿塞拜疆语 samoan:萨摩亚语 afrikaans:南非荷兰语 indonesian:印尼语 danish:丹麦语 shona:修纳语 bambara:班巴拉语 lithuanian:立陶宛语 vietnamese:越南语 maltese:马耳他语 turkmen:土库曼语 assamese:阿萨姆语 catalan:加泰罗尼亚语 singapore:僧伽罗语 cebuano:宿务语 scottish-gaelic:苏格兰盖尔语 sanskrit:梵语 polish:波兰语 galician:加利西亚语 latvian:拉脱维亚语 ukrainian:乌克兰语 tatar:鞑靼语 welsh:威尔士语 japanese:日语 filipino:菲律宾语 aymara:艾马拉语 lao:老挝语 telugu:泰卢固语 romanian:罗马尼亚语 haitian_creole:海地克里奥尔语 dogrid:多格来语 swedish:瑞典语 maithili:迈蒂利语 thai:泰语 armenian:亚美尼亚语 burmese:缅甸语 pashto:普什图语 hmong:苗语 dhivehi:迪维希语 chinese_traditional:繁體中文 luxembourgish:卢森堡语 sindhi:信德语 kurdish:库尔德语(库尔曼吉语) turkish:土耳其语 macedonian:马其顿语 bulgarian:保加利亚语 malay:马来语 luganda:卢干达语 marathi:马拉地语 estonian:爱沙尼亚语 malayalam:马拉雅拉姆语 deutsch:德语 slovene:斯洛文尼亚语 urdu:乌尔都语 portuguese:葡萄牙语 igbo:伊博语 kurdish_sorani:库尔德语(索拉尼) oromo:奥罗莫语 greek:希腊语 spanish:西班牙语 frisian:弗里西语 somali:索马里语 amharic:阿姆哈拉语 nyanja:齐切瓦语 punjabi:旁遮普语 basque:巴斯克语 italian:意大利语 albanian:阿尔巴尼亚语 korean:韩语 tajik:塔吉克语 finnish:芬兰语 kyrgyz:吉尔吉斯语 ewe:埃维语 croatian:克罗地亚语 creole:克里奥尔语 quechua:克丘亚语 bosnian:波斯尼亚语 maori:毛利语 查看详情

RocketMQ集群-

2025-02-08 10:57:55

适用于:Linux 商品简介:RocketMQ是Apache的一款低延迟、高并发、高可用、高可靠的分布式消息中间件。RocketMQ既可为分布式应用系统提供异步解耦和削峰填谷的能力,同时也具备互联网应用所需的海量消息堆积、高吞吐、可靠重试等特性。 商品亮点:支持通过模板一键部署,购买之后只需等待几分钟,即可使用,一键部署RocketMQ-v4.8集群 商品说明 版本: V1.0 交付方式: 镜像 适用于: Linux 上架日期: 2023-05-10 14:47:33 RocketMQ是Apache的一款低延迟、高并发、高可用、高可靠的分布式消息中间件。RocketMQ既可为分布式应用系统提供异步解耦和削峰填谷的能力,同时也具备互联网应用所需的海量消息堆积、高吞吐、可靠重试等特性。 本商品通过Terraform编排华为云资源。在多台ECS服务器上一键部署RocketMQ,并通过ELB统一RocketMQ的nameserver入口,实现RocketMQ集群。 查看详情

DataX-OBS数据同步工具-

2025-02-08 10:57:55

服务内容:如果一键部署出现异常,可寻求帮助 服务时间:周一至周六 9:00~11:50 14:00~18:00 服务电话:17076012262 服务邮箱:921153866@qq.com 服务微信:xnx3com 使用指南: DataX-OBS数据同步工具使用指南 下载 查看商品详情 立即下载

DataX-OBS数据同步工具-

2025-02-08 10:57:54

适用于:Linux 商品简介:DataX是 开源 的一个异构数据源离线同步工具,用来实现包括OBS、关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据同步 商品亮点:一键部署,内置华为云OBS对象存储的数据同步,可视化界面 商品说明 版本: V1.0 交付方式: 镜像 适用于: Linux 上架日期: 2022-11-11 10:25:09 DataX 是 开源 的一个异构数据源离线同步工具,用来实现包括OBS、关系型 数据库 (MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。 本商品是为此增加了华为云OBS 对象存储 的数据同步,以及提供可视化UI界面,一键安装部署好,帮你更好更方便的去使用它。 提供了两种部署方式, 镜像 部署方式跟 资源编排 的部署方式。推荐使用资源编排方式,一键自动创建数据库、安全组、服务器等相关。如果你使用的是镜像部署的方式,需要你提前先开通 RDS Mysql ,开通好之后再使用镜像的方式进行部署。 开通 RDS Mysql 时,其中 mysql版本选择5.7 如下图所示 查看详情

siddhi-obs-

2025-02-08 10:57:52

适用于:Linux 商品简介:Siddhi 是一个流处理和复杂事件处理平台,可用于构建成熟的事件驱动应用程序。 商品亮点:内置OBS 商品说明 版本: V1.0 交付方式: 镜像 适用于: Linux 上架日期: 2023-12-04 09:09:09 Siddhi 是一个流处理和复杂事件处理平台,可用于构建成熟的事件驱动应用程序。它可以嵌入到 Java 和 Python 应用程序中,作为微服务在裸机、VM 或 Docker 上运行,并在 Kubernetes 中大规模本地运行。 本商品是作为本地微服务的方式在使用,并且扩展运行将时间发布到OBS桶中 查看详情

Logstash-OBS-

2025-02-08 10:57:52

服务内容:如果一键部署出现异常,可寻求帮助 服务时间:周一至周六 9:00~11:50 14:00~18:00 服务电话:1737504510 服务邮箱:1441256632@qq.com 服务微信:xnx3com 使用指南: Logstash-OBS使用指南 下载 查看商品详情 立即下载

Logstash-OBS-

2025-02-08 10:57:51

适用于:Linux 商品简介:Logstash是一个开源的服务器端数据处理管道,支持各种输入选择,可以同时从多个数据源获取数据,可以在同一时间从众多常用来源捕捉事件 商品亮点:内置华为云OBS对象存储 商品说明 版本: V1.0 交付方式: 镜像 适用于: Linux 上架日期: 2023-04-21 11:55:04 Logstash是一个 开源 的服务器端数据处理管道,支持各种输入选择,可以同时从多个数据源获取数据,可以在同一时间从众多常用来源捕捉事件。能够以连续的流式传输方式,轻松地从您的日志、指标、Web 应用、数据存储等采集数据,并对其进行转换,然后将其发送到目标存储。 本商品利用Logstash的数据源扩展机制,使Logstash可以使用obs作为输入,输出数据源。 这里提供的是 镜像 部署方式。 查看详情

Streamsets数据集成平台-

2025-02-08 10:57:49

适用于:Linux 商品简介:StreamSets是一种 数据集成平台 ,旨在帮助组织实时地移动、转换和处理数据。它提供了一种可视化、可扩展和易于使用的方式,用于构建数据流水线,将数据从不同来源提取、传输到目标系统,同时可以对数据进行必要的转换和处理。 商品亮点:一键部署,内置OBS对象存储作为数据源 商品说明 版本: V1.0 交付方式: 镜像 适用于: Linux 上架日期: 2023-10-25 07:25:17 StreamSets的主要功能和特点包括: ①数据采集:StreamSets支持从各种数据源(例如 数据库 、日志文件、消息队列、 云存储 等)中提取数据。 ②数据转换:用户可以定义数据处理和转换规则,以确保数据在传输过程中得到适当的格式化和清洗。 ③可视化界面:StreamSets提供直观的可视化界面,使用户能够轻松地构建和管理数据流水线,而无需编写复杂的代码。 ④实时数据处理:它支持实时数据流,可以在数据到达时立即进行处理和传递,适用于实时分析和监控。 ⑤可扩展性:StreamSets是可扩展的,允许用户编写自定义插件和扩展,以满足特定的 数据集 成需求。 ⑥数据质量和监控:提供数据质量检查和监控功能,帮助用户确保数据的一致性和准确性。 ⑦安全性:具备安全控制功能,以确保数据的保密性和完整性。 StreamSets的主要目标是简化数据集成过程,使组织能够更轻松地管理和流动数据,从而支持数据驱动的决策和分析。 其中本商品新增了数据源OBS。 查看详情

Flink流数据分析工具-

2025-02-08 10:57:48

服务内容:如果一键部署出现异常,可寻求帮助 服务时间:周一至周六 9:00~11:50 14:00~18:00 服务电话:18362962787 服务邮箱:lsmforwork@outlook.com 服务微信:xnx3com 使用指南: Flink流数据分析工具 下载 查看商品详情 立即下载

Flink流数据分析工具-

2025-02-08 10:57:47

适用于:Linux 商品简介:Flink是一个分布式的流数据处理引擎,常用于实数数据的分析处理工作。本商品基于Huawei Cloud EulerOS 2.0 64bit系统,提供开箱即用的Flink服务。 商品亮点:提供开箱即用的Flink服务。可以免去用户下载Flink二进制文件,设置环境变量的过程。 商品说明 版本: V1.0 交付方式: 镜像 适用于: Linux 上架日期: 2023-02-06 07:35:04 Flink是一个流行的分布式的流数据处理引擎,常用于无边界和有边界数据流的分析处理工作。Flink有几大特点: 集成所有常见的集群资源管理器,例如Hadoop YARN、Kuebrnetes等,也支持独立集群运行 同时支持批处理和流处理两种数据处理方式 具有精准的时间控制,支持基于事件发生事件、事件处理事件等多种形式的时间窗口 具有状态托管机制,可以基于历史状态进行数据处理,支持将状态数据存放在内存中,所以具有极高的运行速度。 本商品基于Huawei Cloud EulerOS 2.0 64bit系统,提供开箱即用的Flink服务。可以免去用户下载Flink二进制文件,设置环境变量的过程。具体安装的软件及版本情况如下: 部署java JDK,部署openjdk,版本号为11.0.16 部署Flink,版本号为1.16.0,位于/opt/flink-1.16.0/路径下。 新增环境变量,修改路径位于/etc/profile 查看详情

Apache Hudi-

2025-02-08 10:57:46

适用于:Linux 商品简介:Apache Hudi是下一代流 数据湖 平台,它直接在数据湖中引入了核心的仓库和数据库功能。Hudi提供了两种原语,使得除了经典的批处理之外,还可以在数据湖上进行流处理。 商品亮点:内置OBS作为连接源 商品说明 版本: V1.0 交付方式: 镜像 适用于: Linux 上架日期: 2023-11-07 02:10:46 Apache Hudi,也被发音为“hoodie”,是下一代流 数据湖 平台。它直接在数据湖中引入了核心的仓库和 数据库 功能。Hudi提供了两种原语,使得除了经典的批处理之外,还可以在数据湖上进行流处理。此外,Hudi还支持表、事务、高效的upserts/删除、高级索引、流式摄取服务、数据群集/压缩优化以及并发,同时保持数据以 开源 文件格式保留。 以下是Apache Hudi的一些主要特性: ①支持多种类型操作:Hudi表允许多种类型操作,包括非常常用的upsert。为了支持upsert,Hudi依赖索引机制来定位记录在哪些文件中。 ②支持分区和非分区 数据集 :Hudi支持分区和非分区的数据集。分区数据集是将一组文件(数据)放在称为分区的桶中的数据集。 ③使用索引加快更删操作:对于Copy-On-Write表,索引能加快更删的操作,因为避免了通过连接整个数据集来决定哪些文件需要重写。对于Merge-On-Read表,这个设计,对于任意给定的基文件,能限定要读取的文件范围。 ④支持事务:Hudi支持事务,这使得在处理大量数据时可以确保数据的完整性和一致性。 ⑤高效的upserts/删除:Hudi提供高效的upserts和删除操作,这对于实时或近实时数据处理的场景非常有用。 ⑥高级索引:Hudi支持高级索引,这使得用户可以更快地查询和检索数据。 ⑦流式摄取服务:Hudi支持流式摄取服务,这使得用户可以实时将数据添加到数据湖中。 ⑧数据群集/压缩优化以及并发:Hudi支持数据群集、压缩优化以及并发,这使得它在处理大量数据时能够保持高效和可扩展性。 查看详情

Airbyte-OBS-

2025-02-08 10:57:44

适用于:Linux 商品简介:Airbyte 是一款开源的数据集成平台,旨在简化数据采集、同步和传输的工作流程。它的目标是使数据工程师和数据科学家能够轻松地从各种源头(例如数据库、API、日志文件等)收集和传输数据,以供进一步分析和处理。 商品亮点:内置OBS对象存储作为输入,输出数据源 商品说明 版本: V1.0 交付方式: 镜像 适用于: Linux 上架日期: 2023-10-13 08:23:58 Airbyte 是一款 开源 的 数据集成平台 ,旨在简化数据采集、同步和传输的工作流程。它的目标是使数据工程师和数据科学家能够轻松地从各种源头(例如 数据库 、API、日志文件等)收集和传输数据,以供进一步分析和处理。 以下是 Airbyte 的一些主要特点和功能: 多源支持:Airbyte 支持从各种数据源中提取数据,包括数据库(如MySQL、PostgreSQL、MongoDB等)、API(如Google Analytics、Salesforce等)、文件(如CSV、JSON、Parquet等)、日志和许多其他数据源。 连接器生态系统:Airbyte 提供了一个连接器生态系统,其中包括多个连接器,可用于从不同源头获取数据。这些连接器可通过配置文件进行设置,从而轻松地连接到数据源并提取数据。 可扩展性:您可以编写自定义连接器,以满足特定的 数据集 成需求。Airbyte 提供了一套开发工具和文档,以支持连接器的开发和扩展。 简化配置:Airbyte 提供直观的用户界面,使用户能够轻松配置数据采集任务和数据同步工作流程,而无需深入了解数据集成的复杂性。 调度和监控:Airbyte 允许您安排数据同步任务的执行,以确保数据的定期更新。它还提供了监控和警报功能,以跟踪任务的运行状况。 开源和社区支持:Airbyte 是开源项目,拥有活跃的社区支持。这意味着您可以免费使用它,并且可以参与社区,共享和获取有关数据集成的最佳实践和 解决方案 。 数据转换和模式管理:Airbyte 支持对数据进行转换和清理,以满足目标 数据仓库 的要求。它还能够管理数据的模式,以确保数据的一致性。 多种目标数据仓库:Airbyte 支持将数据传输到各种目标数据仓库,包括 数据湖 、数据仓库(如Snowflake、Redshift、BigQuery等)和其他数据存储系统。 本商品利用Airbyte的数据源扩展机制,使Airbyte可以使用obs作为输入,输出数据源。 这里提供的是 镜像 部署方式 查看详情

共18292条
提示

您即将访问非华为云网站,请注意账号财产安全