检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在IntelliJ IDEA中查看应用程序运行情况。 通过MapReduce日志获取应用程序运行情况。 登录MapReduce WebUI查看应用程序运行情况。 登录Yarn WebUI查看应用程序运行情况。 如果Windows运行环境中使用IBM JDK，不支持在Windows环境中直接运行应用程序。
Map函数生成的列表，然后根据它们的键缩小键/值对列表。MapReduce起到了将大事务分散到不同设备处理的能力，这样原来必须用单台较强服务器才能运行的任务，在分布式环境下也能完成。 更多信息，请参阅MapReduce教程。 MapReduce结构 MapReduce通过实现YA
MRS集群服务启用Ranger鉴权 操作场景 该章节指导用户如何启用Ranger鉴权。安全模式默认开启Ranger鉴权，普通模式默认关闭Ranger鉴权。 操作步骤 登录FusionInsight Manager页面，具体请参见访问FusionInsight Manager（MRS 3
nData在Spark驱动器中，支持全局block级索引，这有助于减少需要被扫描的查询block的数量。设置较大的block容量，可提高I/O效率，但是会降低全局索引效率；设置较小的block容量，意味着更多的block数量，会降低I/O效率，但是会提高全局索引效率，同时，对于索引查询会要求更多的内存。
加速TTL操作 ClickHouse触发TTL的时候，对CPU和内存会存在较大消耗和占用。 登录FusionInsight Manager界面，选择“集群 > ClickHouse > 配置 > 全部配置 > ClickHouseServer > 自定义 > clickhouse
{user}为运行任务时的用户名。 logs yarn.nodemanager.log-aggregator.on-fail.remain-log-in-sec 设置Container日志归集失败后日志在本地保留的时间。单位：秒。 设置为0时，本地日志将马上删除。 设置为正数时，表示本地日志将保留这段时间。
MRS如何连接spark-shell？ 用root用户登录集群Master节点。 配置环境变量。 source 客户端安装目录/bigdata_env 如果当前集群已启用Kerberos认证，执行以下命令认证当前用户。如果当前集群未启用Kerberos认证，则无需执行此命令。 kinit
以客户端安装用户，登录安装客户端的节点，执行如下命令： cd {客户端安装目录} source bigdata_env 如果集群已启用Kerberos认证（安全模式），执行以下命令进行用户认证。集群未启用Kerberos认证（普通模式）无需执行用户认证。 kinit 组件业务用户 执行
'topic' = 'topic-1' ,'properties.bootstrap.servers' = 'Kafka的Broker实例业务IP:Kafka端口号' ,'properties.group.id' = 'group-1' ,'value.format'
erguser，且该用户属于hadoop和hive用户组，主组为hadoop。 操作步骤 使用root登录客户端安装节点，执行如下命令： cd 客户端安装目录 执行以下命令环境变量并认证用户： source bigdata_env kinit 创建的业务用户（未开启Kerberos认证的用户请跳过该操作）
0版本。 安装和配置Eclipse 用于开发Impalad应用程序的工具。版本要求如下： JDK使用1.7版本，Eclipse使用3.7.1及以上版本。 JDK使用1.8版本，Eclipse使用4.3.2及以上版本。 说明： 若使用IBM JDK，请确保Eclipse中的JDK配置为IBM
执行如下命令登录impala客户端。 impala-shell 默认情况下，impala-shell尝试连接到localhost的21000端口上的Impala守护程序。如需连接到其他主机，请使用-i <host:port>选项。要自动连接到特定的Impala数据库，请使用-d <data
Spark任务提交至Yarn上面，运行task的executor使用的资源受yarn的管理。从报错信息可看出，用户申请启动executor时，指定10G的内存，超出了Yarn设置的每个container的最大内存的限制，导致任务无法启动。 解决办法 修改Yarn的配置，提高对cont
界面配置dfs.blocksize后上传数据，block大小未改变 问题背景与现象 界面配置“dfs.blocksize”，将其设置为268435456，上传数据，block大小还是原来的大小。 原因分析 HDFS客户端的“hdfs-site.xml”文件中的dfs.blocksize大小没有更改，以客户端配置为准。
执行如下命令登录impala客户端。 impala-shell 默认情况下，impala-shell尝试连接到localhost的21000端口上的Impala守护程序。如需连接到其他主机，请使用-i <host:port>选项。要自动连接到特定的Impala数据库，请使用-d <data
query.enabled”值为“true”。 单击“保存”，根据界面提示保存参数。单击“实例”，勾选所有JDBCServer实例，选择“更多 > 重启实例”，根据界面提示重启JDBCServer实例。 如果关联子查询有多行匹配（>1）, 则会执行异常。 父主题： Spark SQL企业级能力增强
Hue是一组WEB应用，用于和MRS大数据组件进行交互，能够帮助用户浏览HDFS，进行Hive查询，启动MapReduce任务等，它承载了与所有MRS大数据组件交互的应用。 Hue主要包括了文件浏览器和查询编辑器的功能： 文件浏览器能够允许用户直接通过界面浏览以及操作HDFS的不同目录； 查询
txt"和"/opt/log2.txt"。 数据文件若存放在本地文件系统，需在所有部署Yarn NodeManager的节点指定目录放置，并设置运行用户访问权限。 若将数据文件放置于HDFS，需指定程序中读取文件路径HDFS路径，例如"hdfs://hacluster/path/to/file"。
er服务的节点Ip>:21309/users/schema" 开启Kerberos认证的安全集群 在安全集群中执行curl命令时，请遵循以下步骤： 进行kerberos认证。例如， 人机用户：kinit MRS集群用户 例如：kinit hbaseuser 机机用户：kinit -kt
Hive应用开发常用概念 keytab文件 存放用户信息的密钥文件。应用程序采用此密钥文件在MRS产品中进行API方式认证。 客户端 客户端直接面向用户，可通过Java API、Thrift API访问服务端进行Hive的相关操作。 HQL语言 Hive Query Language，类SQL语句。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
