检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DD语义下的DAG，最后将DAG作为Spark的任务提交到Spark集群上进行计算，并合理利用Spark分布式内存计算能力，提高了Hive查询效率。 父主题： Hive
HDFS目录配额不足导致写文件失败 执行balance失败报错“Source and target differ in block-size” 查询或者删除HDFS文件失败 非HDFS数据残留导致数据分布不均衡 HDFS客户端安装在数据节点导致数据分布不均衡 节点内DataNode磁盘使用率不均衡
Storm与其他组件的关系 Storm，提供实时的分布式计算框架，它可以从数据源（如Kafka、TCP连接等）中获得实时消息数据，在实时平台上完成高吞吐、低延迟的实时计算，并将结果输出到消息队列或者进行持久化。Storm与其他组件的关系如图1所示： 图1 组件关系图 Storm和Streaming的关系
doop/lib/* com.huawei.bigdata.hive.example.ExampleMain 在命令行终端查看样例代码中的HiveQL所查询出的结果。 Linux环境运行成功结果会有如下信息。 Create table success! _c0 0 Delete table
行，也可以将程序编译为Jar包后，提交到Linux节点上运行。 开发Kafka应用 编译与运行程序 指导用户将开发好的程序编译并提交运行并查看结果。 调测Kafka应用 父主题： Kafka开发指南（安全模式）
行，也可以将程序编译为Jar包后，提交到Linux节点上运行。 开发Kafka应用 编译与运行程序 指导用户将开发好的程序编译并提交运行并查看结果。 调测Kafka应用 父主题： Kafka开发指南（安全模式）
使用以下命令统计节点进程的线程数并排序。 ps -efT | awk '{print $2}' |sort -n |uniq -c |sort -n 执行后结果如下： 查看启动线程数最多的进程，案例中进程2346为NameNode进程，启动了5.4万线程，且持续增长。 多次打印对应进程的jstack日志，根据
单击“平滑次数”后的编辑按钮，根据实际使用情况，修改平滑次数配置项，单击“确定”。 单击“操作”列的“修改”，基于实际使用情况，更改告警阈值，单击“确定”。 等待两分钟，查看告警是否自动恢复。 是，处理完毕。 否，执行5。 收集故障信息 在FusionInsight Manager界面，选择“运维 > 日志 >
平滑次数为在告警检查阶段连续检查多少次超过阈值，则发送告警。 单击“操作”列的“修改”，基于实际使用情况，更改告警阈值，单击“确定”。 等待2分钟，查看告警是否自动恢复。 是，处理完毕。 否，执行5。 收集故障信息。 在FusionInsight Manager界面，选择“运维 > 日志 >
平滑次数为在告警检查阶段连续检查多少次超过阈值，则发送告警。 单击“操作”列的“修改”，基于实际使用情况，更改告警阈值，单击“确定”。 等待2分钟，查看告警是否自动恢复。 是，处理完毕。 否，执行5。 收集故障信息。 在FusionInsight Manager界面，选择“运维 > 日志 >
对系统的影响 通信闪断，业务超时。 可能原因 告警阈值配置不合理。 网络环境异常。 处理步骤 检查阈值设置是否合理。 登录MRS Manager，查看该告警阈值是否合理（默认0.5%为合理值，用户可以根据自己的实际需求调节）。 是，执行4。 否，执行2。 根据实际服务的使用情况在“系统设置
此时请将“yarn.timeline-service.generic-application-history.enabled”（客户端查询app任务数据时是否从TimelineServer服务获取）参数设置为“false”，直接从ResourceManager上面获取app任务数据。
apache.hadoop.hive.ql.exec.mr.MapredLocalTask (state=08S01,code=1) ... 查看对应HiveServer日志，发现是启动localtask失败： 2018-04-25 16:37:19,296 | ERROR | Hi
如果合并完成后，在一直处于连接状态的spark-beeline/spark-sql session中查询分区表的数据，出现文件不存在的问题，根据提示可以执行"refresh table 表名"后再重新查询。 请依据实际情况合理设置filesize值，例如可以在scan得到表中平均文件大小值a
Phoenix支持SQL的方式来操作HBase。以下简单介绍使用SQL语句建表/插入数据/查询数据/删表等操作，Phoenix同样支持以JDBC的方式来操作HBase，具体请参见HBase SQL查询样例代码说明。 连接Phoenix: source /opt/client/bigdata_env
令前建议关闭系统的history命令记录功能，避免信息泄露。 查看是否打开“Security Cookie”开关，即查看配置“flink-conf.yaml”文件中的“security.enable: true”，查看“security cookie”是否已配置成功，例如： security
群的名称 > Hive > Hive读写权限”，根据不同任务场景，勾选不同权限，单击“确定”保存。 说明： 在默认数据库中，查询其他用户表的权限：勾选“查询”。 在默认数据库中，导入数据到其他用户表的权限：勾选“删除”和“插入”。 Flink 在“配置资源权限”的表格中选择“待操作集群的名称
若合并完成后，在一直处于连接状态的spark-beeline/spark-sql session中查询分区表的数据，出现文件不存在的问题，根据提示可以执行"refresh table 表名"后再重新查询。 请依据实际情况合理设置filesize值，例如可以在scan得到表中平均文件大小值a
-R命令，检查是否所有文件的所有者均是运行Flume Agent的用户。 是，执行3。 否，使用chown命令修改文件属主为运行Flume Agent的用户，执行2.d 查看告警列表中，该告警是否已清除。 是，处理完毕。 否，执行3。 收集故障信息。 在MRS Manager界面，单击“系统设置 > 日志导出”。
创建HBase表： create 'hbase_test','f1','f2'; 配置“HBase输出”算子，如下图： 作业执行成功后，查看hbase_test表中数据： 父主题： Loader输出类算子
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
