正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
table_name;,进行全表查询,表内数据过多。 beeline默认启动内存128M,查询时返回结果集过大,导致beeline无法承载导致。 解决办法 执行select count(*) from table_name;前确认需要查询的数据量大小,确认是否需要在beeline中显示如此数量级的数据。
apReduce任务,从而完成对海量数据的处理。 HCatalog建立在Hive Metastore之上,具有Hive的DDL能力。从另外一种意义上说,HCatalog还是Hadoop的表和存储管理层,它使用户能够通过使用不同的数据处理工具(比如MapReduce),更轻松地在网
ParameterTool.fromArgs(args).getInt("windowTime", 2) // 构造执行环境,使用eventTime处理窗口数据 val env = StreamExecutionEnvironment.getExecutionEnvironment
份过程更快触发。 注意事项 当主集群关闭时,此工具将从ZooKeeper节点(RegionServer znode)获得WAL的处理进度以及WAL的处理队列,并将未复制的队列复制到备集群中。 每个主集群的RegionServer在备集群ZooKeeper上的replication
MRS 3.0.5.1补丁说明 补丁基本信息 表1 补丁基本信息 补丁号 MRS 3.0.5.1 发布时间 2021-08-14 解决的问题 MRS 3.0.5.1 修复问题列表: MRS Manager 解决SQL语句过长导致作业管理界面提交SparkSQL作业失败的问题 解决带有注释的SQL语句作业执行失败问题
ACL check failed. (state=08S01,code=1) 原因分析 当前提交任务的用户不具备Yarn对应队列的权限。 处理步骤 为当前用户配置Yarn队列的权限。 在Manager界面为当前用户绑定对应权限的角色,例如:default,详细操作请参考修改用户信息章节。
java_pid*”文件,当该文件不存在时,jinfo会执行kill -3将jstack信息打印到.out日志文件里,从而导致.out日志文件过大。 处理步骤 在每个HDFS实例的节点上部署定期清理.out日志文件的定时任务。后台登录HDFS的实例节点,在crontab -e中添加每天0点清理
去进行认证。而在MRS 1.9版本中,此方法行不通,需要先进行Kerberos认证,并且需要获取一些别的配置信息,然后再进行URL拼接。 处理步骤 请参考官方MRS 1.9样例工程中hive-examples的认证连接,样例地址请参考开发指南。 建议与总结 在官方MRS 1.9的样例基础进行代码开发。
如果不再使用策略,可单击按钮删除策略。 Hive数据脱敏 Ranger支持对Hive数据进行脱敏处理(Data Masking),可对用户执行的select操作的返回结果进行处理,以屏蔽敏感信息。 登录Ranger WebUI界面,在首页中单击“HADOOP SQL”区域的“Hive”
MRS 1.9.0.5补丁说明 补丁基本信息 表1 补丁基本信息 补丁号 MRS 1.9.0.5 发布时间 2020-03-21 解决的问题 MRS 1.9.0.5 修复问题列表: MRS Manager MRS Manager优化保存配置时的服务重启过程 MRS Manager解决周期备份失败问题
设置为1(s),使备份过程更快触发。 注意事项 当主集群关闭时,此工具将从ZooKeeper节点(RS znode)获得WAL的处理进度以及WAL的处理队列,并将未复制的队列复制到备集群中。 每个主集群的RegionServer在备集群ZooKeeper上的replication
MRS 2.1.0.11补丁说明 补丁基本信息 表1 补丁基本信息 补丁号 MRS 2.1.0.11 发布时间 2020-12-30 解决的问题 MRS 2.1.0.11 修复问题列表: MRS Manager 解决executor/knox/os日志不回滚问题 增加executor
使用Presto查询Kudu表,报表找不到的错误: 后台报错: 原因分析 在实际的运行节点(worker实例所在节点)没有Kudu相关配置。 处理步骤 在集群Presto所有的worker实例节点上添加配置文件kudu.properties。 配置文件保存路径:/opt/Bigdat
404”的状态码。但是由于chrome浏览器访问该REST接口时,优先以“application/xml”的格式响应,该行为会导致服务器端处理出现异常,所以返回的页面会提示“Error Occurred”。而IE浏览器访问该REST接口时,优先以“application/json
MRS 1.9.0.8、1.9.0.9、1.9.0.10补丁说明 补丁基本信息 表1 补丁基本信息 解决的问题 补丁号:MRS 1.9.0.10 发布时间:2023-01-17 修复问题列表: MRS大数据组件 OBSA支持流控重试 补丁号:MRS 1.9.0.9 发布时间:2022-08-10
志就越少。 表2 日志级别 级别 描述 OFF OFF表示不记录日志。 ERROR ERROR表示记录当前时间处理存在错误信息。 WARN WARN表示记录当前事件处理存在异常信息。 INFO INFO表示记录系统及各事件正常运行状态信息。 DEBUG DEBUG表示记录系统及系统的调试信息。
gion。 Storm/ Supervisor 规则:缩容后集群slot数足够运行当前已提交的任务。 原因:防止缩容后没有充足的资源运行流处理任务。 Flume/FlumeServer 规则:节点安装了FlumeServer,并且已经配置了Flume任务,则该节点不能删除。 原因:防止误删了已部署的业务程序。
ecurity-examples/OozieMapReduceExample Oozie提交MapReduce任务示例程序。 本示例演示了如何通过Java API提交MapReduce作业和查询作业状态,对网站的日志文件进行离线分析。 oozie-examples/ooziese
batch时,会对不同的分区创建一个目录。如果一个batch里面的数据对应了过多的分区,那么一次insert就会生成较多的分区目录,后台merge线程处理速度跟不上分区增加的速度,社区规格是每秒不超过一个数据目录。 具体的操作:确认一个batch的数据对应了多少个分区,insert的时候,尽量保证一个batch包含的分区数是1。
SparkResource2x:120 Spark Streaming Spark Streaming是在Spark批处理平台提供的流式数据的处理能力,以“mini-batch”的方式处理从外部输入的数据。 在Spark客户端的“spark-defaults.conf”文件中配置如下参数。 表6