检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
topics”与“tasks.max”配置的参数值的最小值。 处理步骤 登录FusionInsight Manager，选择“集群 > 服务 > CDL”，单击“CDLService UI”右侧的超链接进入CDLService WebUI界面，在数据同步任务作业列表界面选择该作业所在行的“更多
S集群的节点名称，在节点的“弹性公网IP”页面绑定弹性公网IP。 具体操作请参见“虚拟私有云 > 用户指南 > 弹性公网IP > 为弹性云服务器申请和绑定弹性公网IP”。 记录公网IP和私网IP的对应关系将hosts文件中的私网IP改为对应的公网IP。 将krb5.conf文件中的IP地址修改为对应IP的主机名称。
在本地Windows环境中查看Spark程序调试结果 SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in [jar:file:/D:/mavenlocal/org/apache/l
运行Producer.java样例报错获取元数据失败“ERROR fetching topic metadata...” 解决步骤 检查工程conf目录下“producer.properties”中配置的“bootstrap.servers”配置值中访问的IP和端口是否正确： 如
如“/opt/female”。运行Spark应用程序，具体样例程序可参考开发Spark应用。 在Spark任务运行过程中禁止重启HDFS服务或者重启所有DataNode实例，否则可能会导致任务失败，并可能导致JobHistory部分数据丢失。 父主题： 在Linux环境中调测Spark应用
Spark从HBase读取数据再写入HBase样例程序（Scala） 功能介绍 用户可以使用Spark调用HBase接口来操作HBase table1表，然后把table1表的数据经过分析后写到HBase table2表中。 代码样例 下面代码片段仅为演示，具体代码参见：com.huawei
Spark从Hive读取数据再写入HBase样例程序（Java） 功能介绍 在Spark应用中，通过使用Spark调用Hive接口来操作hive表，然后把Hive表的数据经过分析后写到HBase表。 代码样例 下面代码片段仅为演示，具体代码参见：com.huawei.bigdata
conf 两个文件上传客户端所在服务器上。 通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中调测Spark应用。 编译打包前，样例代码中的user.keytab、krb5.conf文件路径需要修改为该文件所在客户端服务器的实际路径。例如：“/opt/female/user
Spark从HBase读取数据再写入HBase样例程序（Java） 功能介绍 用户可以使用Spark调用HBase接口来操作HBase table1表，然后把table1表的数据经过分析后写到HBase table2表中。 代码样例 下面代码片段仅为演示，具体代码参见：com.huawei
计算结果，并进行打印。 打包项目 通过IDEA自带的Maven工具，打包项目，生成jar包 将打包生成的jar包上传到Spark客户端所在服务器的任意目录（例如“ /opt” ）下。 运行任务 在运行样例程序时需要指定 <brokers> <subscribe-type> <topic>
安全集群使用HiBench工具运行sparkbench获取不到realm 问题 运行HiBench6的sparkbench任务，如Wordcount，任务执行失败。 “bench.log”中显示Yarn任务执行失败。 登录Yarn WebUI，查看对应application的失败信息，显示如下：
Spark执行应用时上报“Connection to ip:port has been quiet for xxx ms while there are outstanding requests”并导致应用结束 问题 Spark执行应用时上报如下类似错误并导致应用结束。 2016-04-20
停止运行的RegionServer，在HMaster WebUI中显示的“Dead Region Servers”信息什么时候会被清除掉 问题 在HMaster Web UI中显示处于“Dead Region Servers”状态的RegionServer什么时候会被清除掉？ 回答
开启防误删后为什么Carbon表没有执行drop命令，回收站中也会存在该表的文件？ 问题 开启防误删下，为什么Carbon表没有执行drop table命令，回收站中也会存在该表的文件？ 回答 在Carbon适配防误删后，调用文件删除命令，会将删除的文件放入回收站中。 在insert、load等命令中会有中间文件
系统每30秒周期性检测连接到HiveServer的Session数占HiveServer允许的最大session数的百分比，该指标可在Hive服务监控界面查看。连接到HiveServer的session数占最大允许数的百分比指标默认提供一个阈值范围（90%），当检测到百分比指标超过阈值范围产生该告警。
Spark应用执行过程中，日志中一直打印getApplicationReport异常且应用较长时间不退出 问题 Spark应用执行过程中，当driver连接RM失败时，会报下面的错误，且较长时间不退出。 16/04/23 15:31:44 INFO RetryInvocationHandler:
为什么Spark Streaming应用创建输入流，但该输入流无输出逻辑时，应用从checkpoint恢复启动失败 问题 Spark Streaming应用创建1个输入流，但该输入流无输出逻辑。应用从checkpoint恢复启动失败，报错如下： 17/04/24 10:13:57
称}:{port}”。 登录到FusionInsight Manager页面，选择“集群 > 服务 > Kafka > 实例”，勾选所有Broker实例，单击“启动实例”。 给MRS服务集群的Broker节点分别绑定EIP。 在Windows通过已配置的Broker节点EIP地址和端口连接到Kafka集群并调试代码。
两个文件上传客户端所在服务器上。 通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 编译打包前，样例代码中的user.keytab、krb5.conf文件路径需要修改为该文件所在客户端服务器的实际路径。例如：“/opt/female/user
Spark Core样例程序（Java） 功能简介 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 代码样例 下面代码片段仅为演示，具体代码参见com.huawei.bigdata.spark.examples.FemaleInfoCollection类：
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
