正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
For more detailed output, check the application tracking page:https://bigdata-55:8090/cluster/app/application_1449841777199_0003 Then click
基于Kafka的Word Count数据流统计案例 应用场景 Kafka是一个分布式的消息发布-订阅系统。它采用独特的设计提供了类似JMS的特性,主要用于处理活跃的流式数据。
还原阶段可能需要几分钟时间,此时HBase的上层应用无法正常工作。 恢复过程中会停止用户认证,用户无法开始新的连接。 数据恢复后,会丢失从备份时刻到恢复时刻之间的数据。 数据恢复后,需要重新启动HBase的上层应用。
此功能不应用于生成新索引。 创建HBase HIndex 安装HBase客户端,详情参见HBase客户端使用实践。 进入客户端安装路径,例如“/opt/client” cd /opt/client 配置环境变量。
参数配置 登录FusionInsight Manager页面,选择“集群 > 服务 > ClickHouse > 配置 > 全部配置 > 可靠性”,修改以下参数: 参数 参数说明 allow_transactions 此参数应用于是否支持事务, 取值范围:0,1。
无法对aos上层应用提供租户及角色管理功能,可能引起无法登录Manager和组件的WebUI。 可能原因 AOS进程异常。 处理步骤 检查AOS进程是否异常。 打开FusionInsight Manager页面,在告警列表中,单击此告警所在行的,查看该告警的主机名称。
无法对acs上层应用提供安全认证和用户管理功能,可能引起无法登录Manager和组件的WebUI。 可能原因 ACS进程异常。 处理步骤 检查ACS进程是否异常。 打开FusionInsight Manager页面,在告警列表中,单击此告警所在行的,查看该告警的主机名称。
为单个Region构建索引是为了修复损坏的索引,此功能不应用于生成新索引。 创建HBase HIndex 安装HBase客户端,详情参见HBase客户端使用实践。 以客户端安装用户,登录安装客户端的节点。
Consumer的并发量 在一个应用中,同一个Group的Consumer并发量建议与Topic的Partition个数保持一致,保证每个Consumer对应消费一个Partition上的数据。
Consumer的并发量 在一个应用中,同一个Group的Consumer并发量建议与Topic的Partition个数保持一致,保证每个Consumer对应消费一个Partition上的数据。
如需给其他网络段用户开通访问Manager的权限,可手动修改安全组,添加对应用户访问公网的IP地址范围。 在集群信息页面单击弹性公网IP后的“添加安全组规则”如图2所示。
Flink日志介绍 日志描述 日志存储路径: Flink作业运行日志:“${BIGDATA_DATA_HOME}/hadoop/data${i}/nm/containerlogs/application_${appid}/container_{$contid}”。
Executor日志级别为DEBUG,在进程启动之前,修改“spark-defaults.conf”文件中的Executor的JVM参数“spark.executor.extraJavaOptions”,增加如下配置: -Dlog4j.configuration.watch=true 提交用户应用后
Executor日志级别为DEBUG,在进程启动之前,修改“spark-defaults.conf”文件中的Executor的JVM参数“spark.executor.extraJavaOptions”,增加如下配置: -Dlog4j.configuration.watch=true 提交用户应用后
修改消费者业务应用中fetch.message.max.bytes,使得fetch.message.max.bytes >= message.max.bytes,确保消费者可以消费到全部消息。 父主题: 使用Kafka
Flink日志介绍 日志描述 日志存储路径: Flink作业运行日志:“${BIGDATA_DATA_HOME}/hadoop/data${i}/nm/containerlogs/application_${appid}/container_{$contid}”。
在“All Applications”页面,单击目标作业的ID,可以查看作业运行的详情。 在“All Applications”页面可根据任务提交时间和提交任务的用户名确认具体任务。
数据导入集群后,就可以继续基于大数据平台上层应用对数据进行分析处理了。 父主题: 数据迁移
“OutOfMemoryError” 输入文件数超出设置限制导致任务执行失败 Hive任务执行中报栈内存溢出导致任务执行失败 对同一张表或分区并发写数据导致任务失败 Hive任务失败,报没有HDFS目录的权限 Load数据到Hive表失败 参考Hive JDBC代码用例开发的业务应用运行失败
重启策略也可以通过Flink的配置文件“客户端安装目录/Flink/flink/conf/flink-conf.yaml”中的参数“restart-strategy”指定,为全局配置,还可以在应用代码中动态指定,会覆盖全局配置,重启策略包括失败率(failure-rate)和两种默认策略