检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
脚本运行过程中会重启controller服务，同步Yarn的配置，并重启主备ResourceManager实例。 重启controller服务时，无法登录和操作FusionInsight Manager。 重启主备ResourceManager实例后，Yarn组件以及依赖Yarn的组件会出现短暂的服务不可用告警。
使用以下命令修改表的“kafka_skip_broken_messages”属性： # ALTER test.user_log MODIFY SETTINGS kafka_skip_broken_messages=10000 10000可以根据数据中脏数据的比例进行调整。 kafka_skip_broke
python-examples -R 在python-examples/pyCLI_nosec.py中的hosts数组中填写安装HiveServer的节点的业务平面IP。 Hive多实例的python客户端命令行形式："python-examples/pyCLI_nosec.py"不仅要修改hosts数组
"Development tools" -y yum -y install zlib zlib-devel yum -y install bzip2 bzip2-devel yum -y install ncurses ncurses-devel yum -y install readline
3.0及之后版本。 前提条件 需要MRS集群已安装HetuEngine组件并添加HSFabric实例。HSFabric实例的新增，删除，迁移和端口的修改，都需要重启Hue服务。 已在集群中创建HetuEngine管理员“人机”用户，如hetu_user，可参考创建HetuEngin
群节点单独计费，您可以在管理控制台选择页面上方的“费用 > 费用账单”，进入费用中心后，在“账单管理 > 流水和账单明细”的“流水账单”中核对每一个计费周期的信息是否和实际相符，具体如表1所示： 表1 MRS集群流水账单 产品类型 MapReduce服务 MRS 产品 MRS-BASIC服务费用
型：数据驱动和轮询。 典型的Source样例如下： 和系统集成并接收数据的Sources：Syslog、Netcat。 自动生成事件数据的Sources：Exec、SEQ。 用于Agent和Agent之间通信的IPC Sources：Avro。 Source必须至少和一个Channel关联。
/proc/sys/net/ipv4/tcp_[rw]mem) ，一般为4MB，表示netty的发送和接收的缓冲区大小。 “taskmanager.network.netty.transport”：默认为“nio”方式，表示netty的传输方式，有“nio”和“epoll”两种方式。
Streaming对接Kafka样例程序开发思路 场景说明 假定一个广告业务，存在广告请求事件、广告展示事件、广告点击事件，广告主需要实时统计有效的广告展示和广告点击数据。 已知： 终端用户每次请求一个广告后，会生成广告请求事件，保存到kafka的adRequest topic中。 请求一个广告后
Streaming对接Kafka样例程序开发思路 场景说明 假定一个广告业务，存在广告请求事件、广告展示事件、广告点击事件，广告主需要实时统计有效的广告展示和广告点击数据。 已知： 终端用户每次请求一个广告后，会生成广告请求事件，保存到kafka的adRequest topic中。 请求一个广告后
map-reduce action的名称 resourceManager MapReduce ResourceManager地址 name-node HDFS NameNode地址 queueName 任务处理时使用的MapReduce队列名 mapred.mapper.class Mapper类名
map-reduce action的名称 resourceManager MapReduce ResourceManager地址 name-node HDFS NameNode地址 queueName 任务处理时使用的MapReduce队列名 mapred.mapper.class Mapper类名
html。 Producer重要接口 表1 Producer重要参数 参数 描述 备注 bootstrap.servers Broker地址列表。 生产者通过此参数值，创建与Broker之间的连接。 sasl.kerberos.service.name 服务名。 Kafka集群
conf”文件，配置如下： {client}/spark/bin/spark-sql --master yarn-client --principal {principal} --keytab {keytab} --driver-java-options "-Djava.security.auth
普通版支持集群基础操作如配置、管理和运维等，具体可以查看用户指南。 组件介绍 除共有组件外，普通版集群还支持Presto、Impala、Kudu、Sqoop等组件，可以根据不同集群版本选择不同的组件，具体各版本集群的组件详情可以参考MRS组件版本一览表和组件操作指南。 LTS版 功能说明
conf”文件，配置如下： {client}/spark/bin/spark-sql --master yarn-client --principal {principal} --keytab {keytab} --driver-java-options "-Djava.security.auth
开发流程中各阶段的说明如图1和表1所示。 图1 MapReduce应用程序开发流程 表1 MapReduce应用开发的流程说明 阶段 说明 参考文档 了解基本概念 在开始开发应用前，需要了解MapReduce的基本概念。 MapReduce应用开发常用概念 准备开发环境 使用Eclipse工具，请根据指导完成开发环境配置。
ion: KeeperErrorCode = ConnectionLoss for /hiveserver2 原因分析 MRS 1.8版本和开源版本认证方式一样，在Hive的URL中直接将Kerberos认证的文件传进去进行认证。而在MRS 1.9版本中，此方法行不通，需要先进行
Storm-HBase开发指引 操作场景 本章节只适用于MRS产品中Storm和HBase交互的场景。本章中描述的jar包的具体版本信息请以实际情况为准。 安全模式下登录方式分为两种，票据登录和keytab文件登录，两种方式操作步骤基本一致。票据登录方式为开源提供的能力，存在票据
Manager界面，选择“运维 > 日志 > 下载”。 在“服务”中勾选“OMS”，单击“确定”。 设置“主机”为告警所在节点和主OMS节点。 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后30分钟，单击“下载”。 请联系运维人员，并发送已收集的故障日志信息。 告警清除
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
