检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MRS最佳实践 开发者社区精选最佳实践 表1 MRS最佳实践 分类 相关文档 数据分析类 使用Spark2x实现车联网车主驾驶行为分析 使用Hive加载HDFS数据并分析图书评分情况 使用Hive加载OBS数据并分析企业雇员信息 通过Flink作业处理OBS数据 通过Spark Streaming
Guardian 直接重启 请求Guardian失败,任务拿不到访问OBS的aksk 直接重启耗时约5分钟 滚动重启 滚动重启无影响 滚动重启10个节点耗时约10分钟 IoTDB 直接重启 重启期间无法进行数据的写入 直接重启耗时约5分钟 滚动重启 会影响数据的写入,在滚动重启前需停止写入数据
滚动重启3个节点耗时约15分钟 Guardian 直接重启 请求Guardian失败,任务拿不到访问OBS的aksk 直接重启耗时约5分钟 滚动重启 滚动重启无影响 滚动重启10个节点耗时约10分钟 IoTDB 直接重启 重启期间无法进行数据的写入 直接重启耗时约5分钟 滚动重启
通过这些约束和建议,指导开发者在ClickHouse数据库开发使用过程中能够最大化发挥数据库的优势,保障ClickHouse数据库高性能、稳定可靠运行。用户可更专注于上层业务,释放数据更大的价值。
Storm应用开发环境简介 本开发指南提供了MRS产品Storm组件基于开源Storm的Eclipse样例工程和常用接口说明,便于开发者快速熟悉Storm开发。
MRS提供了各组件的常见业务场景样例程序,开发者用户可基于样例工程进行相关数据应用的开发与编译,样例工程依赖的jar包直接通过华为云开源镜像站下载,其他社区开源jar包可从各Maven公共仓库下载。 开发者能力要求 您已经对大数据领域各组件具备一定的认识。
IoTDB 删除数据目录 该操作将会导致业务信息丢失。 请勿手动删除数据目录。 修改数据目录下内容(创建文件、文件夹) 该操作将会导致该节点上的IoTDB的实例故障。 请勿手动在数据目录下创建或修改文件及文件夹。 单独启停基础组件 该操作将会影响服务的一些基础功能导致业务失败。
表1 Ranger和MetaSore差异 权限管控方式 权限模型 支持的数据源 描述 Ranger PBAC Hive、HBase、Elasticsearch、GaussDB、HetuEngine、ClickHouse、IoTDB、Hudi、MySQL 支持行过滤、列脱敏以及更细粒度的权限管控
Flink Job Pipeline增强 通常情况下,开发者会将与某一方面业务相关的逻辑代码放在一个比较大的Jar包中,这种Jar包称为Fat Jar。 Fat Jar具有以下缺点: 随着业务逻辑越来越复杂,Jar包的大小也不断增加。
MRS提供了各组件的常见业务场景样例程序,开发者用户可基于样例工程进行相关数据应用的开发与编译,样例工程依赖的jar包直接通过华为云开源镜像站下载,其他社区开源jar包可从各Maven公共仓库下载。 开发者能力要求 您已经对大数据领域各组件具备一定的认识。
MRS提供了各组件的常见业务场景样例程序,开发者用户可基于样例工程进行相关数据应用的开发与编译,样例工程依赖的jar包直接通过华为云开源镜像站下载,其他社区开源jar包可从各Maven公共仓库下载。 开发者能力要求 您已经对大数据各组件具备一定的认识。
如果您是一个开发者,可以参考MRS提供的开发指南操作指导及样例工程开发并运行调测自己的应用程序。您也可以通过API调用完成MRS集群管理、作业执行等相关操作,您可以参考《API参考》获取详情。
滚动重启3个节点耗时约15分钟 Guardian 直接重启 请求Guardian失败,任务拿不到访问OBS的aksk 直接重启耗时约5分钟 滚动重启 滚动重启无影响 滚动重启10个节点耗时约10分钟 IoTDB 直接重启 重启期间无法进行数据的写入 直接重启耗时约5分钟 滚动重启
Guardian 直接重启 请求Guardian失败,任务拿不到访问OBS的aksk 直接重启耗时约5分钟 滚动重启 滚动重启无影响 滚动重启10个节点耗时约10分钟 IoTDB 直接重启 重启期间无法进行数据的写入 直接重启耗时约5分钟 滚动重启 会影响数据的写入,在滚动重启前需停止写入数据
MRS 3.2.0-LTS.1版本打了补丁后,如果集群有安装IoTDB组件,在对接CES的时候,需要关闭该组件的指标上报。 MRS 3.2.0-LTS.1版本打了补丁后,重新下载安装的客户端也需要执行客户端升级步骤。
Kafka数据消费概述 Kafka是一个分布式的、分区的、多副本的消息发布-订阅系统,它提供了类似于JMS的特性,但在设计上完全不同,它具有消息持久化、高吞吐、分布式、多客户端支持、实时等特性,适用于离线和在线的消息消费,如常规的消息收集、网站活性跟踪、聚合统计系统运营数据(监控数据
Kafka基本原理 Kafka是一个分布式的、分区的、多副本的消息发布-订阅系统,它提供了类似于JMS的特性,但在设计上完全不同,它具有消息持久化、高吞吐、分布式、多客户端支持、实时等特性,适用于离线和在线的消息消费,如常规的消息收集、网站活性跟踪、聚合统计系统运营数据(监控数据)
切换MRS集群VPC子网 MRS支持当子网IP不足时,切换子网到当前集群相同VPC下的其他子网,实现可用子网IP的扩充。切换子网不会影响当前已有节点的IP地址和子网。 如需对网络ACL出规则进行配置请参考如何配置网络ACL出规则?。 未关联网络ACL时切换子网 登录MRS管理控制台
数据分析 使用Spark2x实现车联网车主驾驶行为分析 使用Hive加载HDFS数据并分析图书评分情况 使用Hive加载OBS数据并分析企业雇员信息 通过Flink作业处理OBS数据 通过Spark Streaming作业消费Kafka数据 通过Flume采集指定目录日志系统文件至
是 HTML5安全: 说明:HTML5是下一代的Web开发规范,为开发者提供了许多新的功能并扩展了标签。这些新的标签及功能增加了攻击面,存在被攻击的风险(例如跨域资源共享、客户端存储、WebWorker、WebRTC、WebSocket等)。