-
Kerberos使用 - MapReduce服务 MRS
Kerberos使用 已创建的MRS集群如何修改Kerberos状态？ Kerberos认证服务的端口有哪些？ 如何避免Kerberos认证过期？
-
MRS集群如何使用公网访问Presto - MapReduce服务 MRS
MRS集群如何使用公网访问Presto 用户问题 用户调测Presto JDBC样例代码，需要使用公网访问Presto。 问题分析 登录MRS Manager上查看Presto全部配置，Coordinator角色配置： PRESTO_COORDINATOR_FLOAT_IP = 内网IP地址
-
使用Hudi - MapReduce服务 MRS
使用Hudi Hudi表概述 使用Spark Shell创建Hudi表 使用Hudi-Cli.sh操作Hudi表 Hudi写操作 Hudi读操作 数据管理维护 Hudi SQL语法参考 Hudi Schema演进 配置Hudi数据列默认值 Hudi常见配置参数 Hudi性能调优 Hudi故障处理
-
如何快速使用MRS - MapReduce服务 MRS
如何快速使用MRS MRS是一个在华为云上部署和管理Hadoop系统的服务，一键即可部署Hadoop集群。MRS提供租户完全可控的企业级大数据集群云服务，轻松运行Hadoop、Spark、HBase、Kafka等大数据组件。 MRS使用简单，通过使用在集群中连接在一起的多台计算机
-
使用Storm - MapReduce服务 MRS
使用Storm 从零开始使用Storm 使用Storm客户端 使用客户端提交Storm拓扑 访问Storm的WebUI 管理Storm拓扑 查看Storm拓扑日志 Storm常用参数 配置Storm业务用户密码策略 迁移Storm业务至Flink Storm日志介绍 性能调优
-
使用Loader导入数据 - MapReduce服务 MRS
过滤器类型 选择文件过滤的条件。“WILCARD”表示使用通配符过滤，“REGEX”表示使用正则表达式匹配。与“路径过滤器”和“文件过滤器”配合使用。不选择值时默认为通配符过滤。 路径过滤器 与“过滤器类型”配合使用，配置通配符或正则表达式对源文件的输入路径包含的目录进行过滤
-
如何使用IDEA远程调试 - MapReduce服务 MRS
如何使用IDEA远程调试 问题 在Spark二次开发中如何使用IDEA远程调试？ 回答 以调试SparkPi程序为例，演示如何进行IDEA的远程调试： 打开工程，在菜单栏中选择“Run > Edit Configurations”。 在弹出的配置窗口中用鼠标左键单击左上角的号，在
-
如何使用IDEA远程调试 - MapReduce服务 MRS
如何使用IDEA远程调试 问题 在Spark二次开发中如何使用IDEA远程调试？ 回答 以调试SparkPi程序为例，演示如何进行IDEA的远程调试： 打开工程，在菜单栏中选择“Run > Edit Configurations”。 在弹出的配置窗口中用鼠标左键单击左上角的号，在
-
如何使用IDEA远程调试 - MapReduce服务 MRS
如何使用IDEA远程调试 问题 在Spark二次开发中如何使用IDEA远程调试？ 回答 以调试SparkPi程序为例，演示如何进行IDEA的远程调试： 打开工程，在菜单栏中选择“Run > Edit Configurations”。 在弹出的配置窗口中用鼠标左键单击左上角的号，在
-
如何使用IDEA远程调试 - MapReduce服务 MRS
如何使用IDEA远程调试 问题 在Spark二次开发中如何使用IDEA远程调试？ 回答 以调试SparkPi程序为例，演示如何进行IDEA的远程调试： 打开工程，在菜单栏中选择“Run > Edit Configurations”。 在弹出的配置窗口中用鼠标左键单击左上角的号，在
-
从零开始使用Spark - MapReduce服务 MRS
从零开始使用Spark 本章节提供从零开始使用Spark提交sparkPi作业的操作指导，sparkPi是最经典的Spark作业，它用来计算Pi（π）值。 操作步骤 准备sparkPi程序。 开源的Spark的样例程序包含多个例子，其中包含sparkPi。可以从https://archive
-
如何使用IDEA远程调试 - MapReduce服务 MRS
如何使用IDEA远程调试 问题 在Spark二次开发中如何使用IDEA远程调试？ 回答 以调试SparkPi程序为例，演示如何进行IDEA的远程调试。 打开工程，在菜单栏中选择“Run > Edit Configurations”。 在弹出的配置窗口中用鼠标左键单击左上角的“+”
-
Presto配置多Hive连接 - MapReduce服务 MRS
Presto配置多Hive连接 用户问题 Presto如何配置多Hive连接。 处理步骤 将目标Hive集群的core-site.xml，hdfs-site.xml文件复制分发到Presto集群上，放置在omm用户有读权限的路径下（如/home/omm），将文件属主改为omm:wheel，文件权限改为750。
-
快速使用Flume采集节点日志 - MapReduce服务 MRS
快速使用Flume采集节点日志 操作场景 Flume支持将采集的日志信息导入到Kafka。 前提条件 已创建开启Kerberos认证的包含Flume、Kafka等组件的流式集群。可参考购买自定义集群。 已配置网络，使日志生成节点与流集群互通。 使用Flume客户端（MRS 3.x之前版本）
-
如何使用PySpark连接MRS Spark？ - MapReduce服务 MRS
如何使用PySpark连接MRS Spark？ 问：如何在ECS服务器上用PySpark连接内网开启Kerberos认证的MRS Spark集群？ 答：将Spark的“spark-defaults.conf”文件中“spark.yarn.security.credentials.hbase
-
如何读取“ - MapReduce服务 MRS
如何读取“__consumer_offsets”内部topic的内容 用户问题 Kafka如何将consumer消费的offset保存在内部topic“ __consumer_offsets”中？ 处理步骤 以客户端安装用户，登录安装Kafka客户端的节点。 切换到Kafka客户
-
MRS集群版本如何进行升级？ - MapReduce服务 MRS
MRS集群版本如何进行升级？ MRS普通版本集群 MRS普通版本集群无法实现低版本到高版本的平滑升级。如需体验新版本集群相关能力，建议重新创建一个新版本的集群，然后将老版本集群的数据迁移到新的集群。 MRS LTS版本集群 MRS LTS版集群支持版本升级能力，可从历史版本升级至
-
Sqoop如何连接MySQL - MapReduce服务 MRS
Sqoop如何连接MySQL 用户问题 Sqoop如何连接MySQL数据库。 处理步骤 在集群上安装客户端，查看客户端“sqoop/lib”目录下是否有MySQL驱动包。 在客户端目录下加载环境变量。 source bigdata_env 执行Kerberos用户认证。 如果集群
-
如何获取Topic的分布信息 - MapReduce服务 MRS
如何获取Topic的分布信息 用户问题 如何获取Topic在Broker实例的分布信息？ 前置操作 前提条件 已安装Kafka、ZooKeeper客户端。 操作步骤 以客户端安装用户，登录安装Kafka客户端的节点。 切换到Kafka客户端安装目录，例如“/opt/client”。
-
如何让不同的业务程序分别用不同的Yarn队列？ - MapReduce服务 MRS
存储空间配额 配置当前租户使用的HDFS存储空间配额。 当存储空间配额单位设置为MB时，范围为1～8796093022208，当“存储空间配额单位”设置为GB时，范围为1～8589934592。 此参数值表示租户可使用的HDFS存储空间上限，不代表一定使用了这么多空间。 如果参数值
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
