检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
pReduce高10到100倍的计算能力。Spark可以使用HDFS作为底层存储，使用户能够快速地从MapReduce切换到Spark计算平台上去。Spark提供一站式数据分析能力，包括小批量流式处理、离线批处理、SQL查询、数据挖掘等，用户可以在同一个应用中无缝结合使用这些能力
MRS组件应用开发简介 MRS是企业级大数据存储、查询、分析的统一平台，能够帮助企业快速构建海量数据信息处理系统，通过对海量信息数据的分析挖掘，发现全新价值点和企业商机。 MRS提供了各组件的常见业务场景样例程序，开发者用户可基于样例工程进行相关数据应用的开发与编译，样例工程依赖
作。 图3 关闭通信安全授权 若用户已开启敏感操作保护（详见IAM服务的敏感操作），则输入选择的对应验证方式获取的验证码进行进行验证，避免误操作带来的风险和损失。 图4 身份验证 为关闭安全通信的集群开启安全通信 登录MRS管理控制台。 在现有集群列表中，单击待开启安全通信的集群名称。
构化的海量数据中挖掘您所需要的价值数据。开源组件结构复杂，安装、配置、管理过程费时费力，使用Manager将为您提供企业级的集群的统一管理平台。 提供集群状态的监控功能，您能快速掌握服务及主机的运行状态。 提供图形化的指标监控及定制，您能及时的获取系统的关键信息。 提供服务属性的配置功能，满足您实际业务的性能需求。
MRS集群用户鉴权策略 安全模式 大数据平台用户完成身份认证后，系统还需要根据实际权限管理配置，选择是否对用户进行鉴权，确保系统用户拥有资源的有限或全部权限。如果系统用户权限不足，需要由系统管理员为用户授予各个组件对应的权限后，才能访问资源。安全模式或者普通模式集群均提供鉴权能力，组件的具体权限项在两种模式中相同。
查看MRS集群静态资源 大数据管理平台支持通过静态服务资源池对没有运行在Yarn上的服务资源进行管理和隔离。系统支持基于时间的静态服务资源池自动调整策略，使集群在不同的时间段自动调整参数值，从而更有效地利用资源。 系统管理员可以在Manager查看静态服务池各个服务使用资源的监控指标结果，包含监控指标如下：
载集群客户端。 在“下载集群客户端”弹窗中填写集群客户端下载信息。 图3 下载集群客户端 “选择客户端类型”中选择“完整客户端”。 “选择平台类型”必须与待安装节点的架构匹配，以“x86_64”为例。 勾选“仅保存到如下路径”，填写下载路径，本示例以“/tmp/FusionIns
MRS安全增强 MRS作为一个海量数据管理和分析的平台，具备高安全性。MRS主要从以下几个方面保障用户的数据和业务运行安全。 网络隔离 整个系统部署在公有云上的虚拟私有云中，提供隔离的网络环境，保证集群的业务、管理的安全性。结合虚拟私有云的子网划分、路由控制、安全组等功能，为用户提供高安全、高可靠的网络隔离环境。
“user.keytab”文件与“krb5.conf”文件。 准备运行环境配置文件 进行应用开发时，需要同时准备代码的运行调测的环境，用于验证应用程序运行正常。 场景一：准备本地Windows开发环境调测程序所需配置文件。 登录FusionInsight Manager页面，选择“集群
esourceManager (备)”实例，选择“更多 > 重启实例”，验证密码后重启实例。 等待备实例重启成功后，单击Yarn的“概览”页签，选择“更多 > 执行ResourceManager倒换”，验证密码后执行主备倒换。 等待主备倒换完成后，在Yarn服务页面选择“实例”页
e客户端，验证Ranger是否已经完成集成HBase。 以客户端安装用户登录客户端安装节点，执行如下命令，进入hbase shell。 source /opt/client/bigdata_env hbase shell 图7 进入hbase shell 添加数据，验证Ranger是否已经集成成功。
e=zooKeeper;zooKeeperNamespace=hiveserver2 图4 登录Hive 查询数据，验证Ranger是否已经集成成功。 图5 验证Ranger集成Hive 父主题： 使用Ranger（MRS 1.9.2）
*”表示读取其路径是以“/test”开头的所有文件。 说明： 为确保一致性，配置特定模式以仅缓存其他客户端不经常修改的文件。 正则表达式模式将仅验证URI的path部分，而不验证在Fully Qualified路径情况下的schema和authority。 - dfs.client.metadata.cache
样式。 本操作默认以“平铺视图”进行介绍。 在指定服务窗格右上角选择“ > 停止服务”验证密码并确认操作影响后，单击“确定”。 也可以单击待操作的服务名称，单击“概览”页右上角“停止服务”，验证密码并确认操作影响后，单击“确定”。 MRS 2.x及之前版本： 登录Manager后，单击“服务管理”。
*”表示读取其路径是以“/test”开头的所有文件。 说明： 为确保一致性，配置特定模式以仅缓存其他客户端不经常修改的文件。 正则表达式模式将仅验证URI的path部分，而不验证在Fully Qualified路径情况下的schema和authority。 - dfs.client.metadata.cache
rt CLIENT_HIVE_ENTIRELINEASCOMMAND=false。 图1 修改component_env文件 执行如下命令验证配置。 source /opt/Bigdata/client/bigdata_env beeline -e "use default;show
--创建数据库名为test的数据库 CREATE DATABASE test ON CLUSTER default_cluster; --创建成功后，通过查询命令验证 show databases; ┌─name───┐ │ default │ │ system │ │ test
--创建数据库名为test的数据库 CREATE DATABASE test ON CLUSTER default_cluster; --创建成功后，通过查询命令验证 show databases; ┌─name───┐ │ default │ │ system │ │ test
创建Python任务 登录到集群Manager界面，在Yarn的WebUI页面上查看提交的pyspark应用。 图5 查看任务运行情况 验证pandas库调用。 图6 验证pandas 对接Jupyter常见问题 pandas本地import使用时，报错如下： 参考以下步骤进行处理： 执行命令python
”、“DEBUG”、“INFO”、“WARN”、“ERROR”和“FATAL”信息。 由于开源中定义的不同，组件的日志级别定义略有差异。 验证日志级别设置已生效，请下载日志并查看。请参见下载MRS集群日志（MRS 3.x及之后版本）。 修改服务日志级别与日志文件大小 KrbSer
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
