检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
properties”文件中配置，以配置SpoolDir Source+File Channel+Kafka Sink为例。 在安装Flume客户端的节点执行以下命令，根据实际业务需求，可参考Flume业务配置指南在Flume客户端配置文件“properties.properties”中配置并保存作业。
失败，服务可用。 收集故障信息 在主备集群的FusionInsight Manager首页，选择“运维 > 日志 > 下载”。 在“服务”中勾选待操作集群的“Impala”。 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 请
户可以在MRS控制台页面打开Manager管理页面。 访问MRS Manager 登录MRS管理控制台页面。 单击“现有集群”，在集群列表中单击指定的集群名称，进入集群信息页面。 单击“前往 Manager”，打开“访问MRS Manager页面”。 若用户创建集群时已经绑定弹性公网IP，如图1所示：
选择“集群 > 服务 > Yarn”，单击“ResourceManager WebUI”后的链接进入Yarn原生页面。 根据告警“定位信息”中的任务名找到异常任务，查找并记录作业的“application ID”，是否可以在Yarn页面上查看到作业日志。 图1 作业的“application
选择“集群 > 服务 > Yarn”，单击“ResourceManager WebUI”后的链接进入Yarn原生页面。 根据告警“定位信息”中的任务名找到异常任务，查找并记录作业的“application ID”，是否可以在Yarn页面上查看到作业日志。 图1 作业的“application
待操作集群的名称 > 服务 > ZooKeeper > 实例”。 “zooKeeperNamespace=”后面的“hiveserver2_zk”为4中参数“hive.server2.zookeeper.namespace”设置的具体设定值。 结果将只会登录到被设置租约隔离的HiveServer。
Ticket），由Kerberos服务生成，提供给应用程序与应用服务建立安全会话，该票据一次性有效。 ST的生成在FusionInsight产品中，基于hadoop-rpc通信，由rpc底层自动向Kerberos服务端提交请求，由Kerberos服务端生成。 认证代码实例讲解 package
2380435,max heap memory is: 16892035072,the limit conf is: 500000/4)'，此报错中具体数值根据实际情况会发生变化，具体报错信息如下： ERROR : Job Submission failed with exception
cluster模式。 客户端向ResourceManager发送Spark应用提交请求，ResourceManager为其返回应答，该应答中包含多种信息(如ApplicationId、可用资源使用上限和下限等)。Client端将启动ApplicationMaster所需的所有信息
Flume基本原理 Flume是一个高可用、高可靠，分布式的海量日志采集、聚合和传输的系统。Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接收方（可定制）的能力。其中Flume-NG是Flume的一个分支，其特点
r为其返回应答，该应答中包含多种信息（如ApplicationId、可用资源使用上限和下限等）。ResourceManager收到请求后，会为ApplicationMaster寻找合适的节点，并在该节点上启动它。ApplicationMaster是Yarn中的角色，在Spark中
批量升级MRS集群客户端 在FusionInsight Manager界面上下载的客户端包中包含客户端批量升级工具，当集群升级或扩容后需要对多个客户端进行升级时，可以使用该工具对客户端进行批量一键升级。同时该工具在提供批量升级客户端功能的同时，也提供了轻量级的批量刷新客户端所在节点“/etc/hosts”文件的功能。
HetuEngine QAS角色能够自动提取历史SQL语句进行分析学习，基于收益最大化原则自动生成高价值物化视图的候选SQL。在实际运用中，HetuEngine管理员可选择通过配置“维护实例”等，开启物化视图的自动创建与自动刷新功能。业务用户可以通过配置客户端Session来获
integrity：指数据直接传输，即不加密也不鉴权。 为保证数据安全，请谨慎使用这种方式。 解决办法 重新下载客户端，如果是应用程序，更新应用程序中的配置文件。 父主题： 使用HDFS
这个期间进入Kafka的所有数据均匀分配到各个任务，避免任务处理压力不均匀。 约束条件： 目前该功能只适用于Spark Streaming中的Direct方式，且执行结果与上一个batch时间处理结果没有依赖关系（即无state操作，如updatestatebykey）。对多条数
这个期间进入Kafka的所有数据均匀分配到各个任务，避免任务处理压力不均匀。 约束条件： 目前该功能只适用于Spark Streaming中的Direct方式，且执行结果与上一个batch时间处理结果没有依赖关系（即无state操作，如updatestatebykey）。对多条数
cationMaster（AM）中运行，运行结果和日志在Yarn的WebUI界面输出。 进入Spark客户端目录，调用bin/spark-submit脚本运行代码。 其中，<inputPath>指HDFS文件系统中input的路径。 由于样例代码中未给出认证信息，请在执行应用程序时通过配置项“spark
是，操作结束。 否，执行4。 收集故障信息。 在FusionInsight Manager首页，选择“运维 > 日志 > 下载”。 在“服务”中勾选待操作集群的“Hive”。 单击右上角的设置日志收集的“开始时间”和“结束时间”，分别为告警产生时间的前后10分钟，单击“下载”。 请联
MapReduce访问多组件样例代码 功能介绍 主要分为三个部分： 从HDFS原文件中抽取name信息，查询HBase、Hive相关数据，并进行数据拼接，通过类MultiComponentMapper继承Mapper抽象类实现。 获取拼接后的数据取最后一条输出到HBase、HDF
用场景合理选择磁盘存储空间大小： 数据存储和计算分离，数据存储在OBS系统中，集群费用相对较低，计算性能不高，并且集群随时可以删除，建议数据计算不频繁场景下使用。 数据存储和计算不分离，数据存储在HDFS中，集群费用相对较高，计算性能高，集群需要长期存在，建议数据计算频繁场景下使用。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
