检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
调测Oozie应用 在本地Windows环境中调测Oozie应用 查看Oozie应用调测结果 父主题: Oozie开发指南(安全模式)
调测Oozie应用 在本地Windows环境中调测Oozie应用 查看Oozie应用调测结果 父主题: Oozie开发指南(普通模式)
配置安全认证 如果您使用的是开启了Kerberos认证的MRS集群,需要进行安全认证。 配置Kafka应用安全认证 根据业务场景开发程序 提供了Producer和Consumer相关API的使用样例,包含了API和多线程的使用场景,帮助用户快速熟悉Kafka接口。 将开发好的程序编译运行,
提交MRS作业 MRS作业类型介绍 上传应用数据至MRS集群 运行MRS作业 查看MRS作业详情和日志
调测Strom应用 打包Strom样例工程应用 打包Strom应用业务 提交Storm拓扑 查看Storm应用调测结果 父主题: Storm开发指南(普通模式)
出错误的一种,即线程栈的溢出,方法调用层次过多(比如存在无限递归调用)或线程栈太小都会导致此报错。 解决办法 通过调整mapreduce阶段的map和reduce子进程JVM参数中的栈内存解决此问题,主要涉及参数为mapreduce.map.java.opts(调整map的栈内存)和mapreduce
conf”。 将1导出的hive-examples-1.0.jar拷贝到“/opt/hive_examples”下。 将客户端下的配置文件拷贝到“conf”下,开启Kerberos认证的安全集群下把从5获取的user.keytab和krb5.conf拷贝到的/opt/hive_e
Doris运维管理 Doris日志介绍 访问Doris WebUI页面查看组件状态 手动备份Doris数据 手动恢复Doris数据 父主题: 使用Doris
调测Storm应用 生成Storm应用Jar包 在Linux环境中调测Storm应用 查看Storm应用调测结果 父主题: Storm开发指南
在Linux环境中调测Spark应用 在Linux环境中编包并运行Spark程序 在Linux环境中查看Spark程序调测结果 父主题: 调测Spark应用
调测Storm应用 打包Storm样例工程应用 打包Storm业务 提交Storm拓扑 查看Storm应用调测结果 父主题: Storm开发指南(安全模式)
安装MRS集群补丁 查看MRS集群补丁信息 安装MRS集群补丁 安装MRS集群滚动补丁 修复隔离MRS集群主机补丁 父主题: MRS集群运维
作业管理 批量迁移Loader作业 批量删除Loader作业 批量导入Loader作业 批量导出Loader作业 查看作业历史信息 父主题: 使用Loader
弹性伸缩接口 查看弹性伸缩策略 更新弹性伸缩策略 删除弹性伸缩策略 创建弹性伸缩策略 父主题: API V2
MRS集群健康检查 执行MRS集群健康检查 执行MRS集群节点健康检查 查看并导出健康检查报告 父主题: MRS集群运维
原因分析 MapReduce任务提交前对输入文件数的检查策略:在提交的MapReduce任务中,允许的最大输入文件数和HiveServer最大堆内存的比值,例如500000/4(默认值),表示每4GB堆内存最大允许500000个输入文件。在输入的文件数超出此限制时则会发生此错误。 解决办法
Hive是一个开源的,建立在Hadoop上的数据仓库框架,提供类似SQL的HQL语言操作结构化数据,其基本原理是将HQL语言自动转换成MapReduce任务或Spark任务,从而完成对Hadoop集群中存储的海量数据进行查询和分析。 Hive主要特点如下: 通过HQL语言非常容易的完成数据提取、转换和加载(ETL)。
Master承担了以前的TaskTracker的一些角色,ResourceManager承担了JobTracker的角色。 Application Master管理一个在YARN内运行的应用程序的每个实例。Application Master负责协调来自ResourceManager的资源,并
调测Spark应用 编包并运行Spark应用 查看Spark应用调测结果 父主题: Spark开发指南
调测HDFS应用 在Linux环境中调测HDFS应用 查看HDFS应用调测结果 父主题: HDFS开发指南