检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
华为云MapReduce服务（MRS）是华为云提供的大数据服务，可以在华为云上部署和管理Hadoop系统，一键即可部署Hadoop集群。 MRS提供用户完全可控的一站式企业级大数据集群云服务，完全兼容开源接口，结合华为云计算、存储优势及大数据行业经验，为客户提供高性能、低成本、灵活易用的全栈大数据平台，轻松运
对接大数据平台 支持的大数据平台简介 华为云MRS对接OBS Cloudera CDH对接OBS Hortonworks HDP对接OBS 父主题： 大数据场景下使用OBS实现存算分离
创建大数据云服务连接 对大数据云服务数据进行一致性校验时，需要分别与源端和目的端云服务建立连接，用于数据查询和计算。 目前支持创建连接的大数据云服务包括： 数据湖探索（DLI） CloudTable(ClickHouse) CloudTable(HBase) 操作步骤 登录迁移中心管理控制台。
数据治理平台部署 将前端上传至服务器/usr/local/web下两个前端包 yunpi-base-mgr yunpi-data-govern 将后端包上传至服务器 修改配置信息将请求后端网关地址进行修改 Vim config.js 图1 上传 /usr/usr/local/jar下修改jar服务配置文件
组织关联平台应用部署 将前端上传至服务器/usr/local/web下前端包 yunpi-base-mgr 修改配置信息将请求后端网关地址进行修改 Vim config.js 将后端包上传至服务器/usr/local/web下 图1 上传 服务的配置修改及启动 修改所有jar服务连接nacos配置的信息如下标红处。
共享交换平台的部署 将前端上传至服务器/usr/local/web下前端包 包名为：yunpi-web 将前端包上传至服务器/usr/local/web下 修改/yunpi-web/config文件夹下的config.js Vim config.js 修改网关地址 图1 上传 后台服务的启动与配置。
支持的大数据组件简介 在华为云大数据存算分离方案中，OBS除了可以与大数据平台对接外，还可以直接与开源的大数据组件对接。 当前支持的大数据组件如下： Hadoop Hive Spark Flume DataX Druid Flink logstash 父主题： 对接大数据组件
方案概述 应用场景 农业大数据平台产品以华为云为底座，为种植基地面向生产过程提供了从备耕、春播、夏长、秋收、冬藏全程all-in-one的数据平台；为县域农业政府部门进一步摸清农业资产底数及其承载力，形成区域农业产业现状全景图。在农业精准生产、监测预警、风险评估方面提供辅助决策，让农业生产从“看天吃饭”到“知天而作”
数据集成平台应用部署 将部署文件上传到服务器/usr/local/下，解压target4.0.tar tar -zxvf target4.0.tar 说明：需要java环境 检查环境：java -vrsion 图1 解压 进入/usr/local/target4.0/bin下启动服务；启动命令：
态势感知平台应用部署 前端应用部署： 将前端包上传至服务器 /usr/local/tsgz 修改配置文件进入config下修改配置文件 vim index.js 图1 修改配置文件1 后端包的配置与修改共4个后端jar服务器包。 sx-credit-monitor-msvs.jar
配置存算分离集群。 详细操作，请参见使用委托方式配置存算分离集群。 使用存算分离集群。 详细操作，请参见使用存算分离集群。 父主题： 对接大数据平台
实施步骤 云服务资源准备 应用部署
BSA版本号，y值最大为最新版本。如：hadoop-huaweicloud-3.1.1-hw-53.8.jar，3.1.1是配套hadoop版本号，53.8是OBSA的版本号。 如hadoop版本为3.1.x，则选择hadoop-huaweicloud-3.1.1-hw-53.8
修订记录 表1 修订记录 发布日期 修订记录 2024-04-19 规范词、敏感词专项处理，章节优化 2022-10-14 第一次正式发布。
BSA版本号，y值最大为最新版本。如：hadoop-huaweicloud-3.1.1-hw-53.8.jar，3.1.1是配套hadoop版本号，53.8是OBSA的版本号。 如hadoop版本为3.1.x，则选择hadoop-huaweicloud-3.1.1-hw-53.8
应用部署 添加国内docker/epel 的yum源，并生成缓存： # vim /etc/yum.repos.d/docker.repo [docker-ce-stable] name=Docker CE Stable - mirrors.huaweicloud.com/doc
资源和成本规划 表1 资源和成本规划内容说明 产品 计费模式 购买量 单位 购买个数 规格 费用 弹性云服务器 1 包年 1 年 4 X86计算 | 通用计算增强型 | c6.4xlarge.4 | 16核 | 64GB; CentOS | CentOS 8.2 64bit; 通用型SSD
Alpha WATER智慧河长大数据管控平台 本系统由2 个web（网页）端（域名不同）及1 个移动App（安卓）组成。 网页端分别是：可视化大屏和作业处理端。可视化大屏主要由水环境监测，雨情预警，预测预警（水质），污染溯源，远程巡河，告警统计，领导驾驶舱7 个子页面组成。 功能简述
图2 创建ECS实例1 图3 创建ECS实例2 对象存储服务 OBS 对象存储服务（Object Storage Service，OBS）是一个基于对象的海量存储服务，为客户提供海量、安全、高可靠、低成本的数据存储能力。 登录华为云OBS管理控制台 单击“创建桶” 桶名：自定义，如obs-alarm-platform
什么是大数据优化与提升服务？ 大数据优化与提升服务通过结合华为自身丰富的理论知识和实践经验，引入数字化科技技术，帮助企业规划构建数据治理体系和数据治理平台，内容包括数据管理成熟度诊断、数据管理体系设计、数据安全规范诊断与设计以及主数据管理体系诊断与设计。 父主题： 关于服务咨询
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
