检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
是，执行1.e。 否，执行2。 单击“组件管理 > Spark > 服务配置 > 全部配置 > JDBCServer > Tuning”。将“spark.driver.extraJavaOptions”参数中-XX:MaxMetaspaceSize的值根据实际情况调大。 观察界面告警是否清除。
登录FusionInsight Manager，选择“运维 > 告警 > 阈值设置 > meta > OBS的write接口调用失败总数”，将阈值或平滑次数参数的值根据实际情况调大。 观察界面告警是否清除。 是，处理完毕。 否，执行3。 联系OBS运维人员查看OBS服务是否正常。 是，执行4。
在Run:中出现下面提示，则说明打包成功 图5 打包成功提示 您可以从项目目录下的target文件夹中获取到Jar包。 图6 获取jar包 将2中生成的Jar包（如CollectFemaleInfo.jar）复制到Spark运行环境下（即Spark客户端），如“/opt/femal
通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中调测Spark应用。 运行Python样例代码无需通过Maven打包。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录（例如“ /opt/example/” ）下。 运行任务 登录Spark客户端节点，执行如下命令：
以root用户登录问题节并执行hdfs dfs -ls命令查看所有块信息。 执行hdfs dfs -mkdir命令新建目录用于存放问题块。 执行hdfs dfs -mv将问题块转移至新建目录位置。 建议与总结 以下两点可供参考： 数据块损坏，通过hdfs fsck /tmp -files -blocks -r
登录FusionInsight Manager，选择“运维 > 告警 > 阈值设置 > meta > OBS的readFully接口调用失败总数”，将阈值或平滑次数参数的值根据实际情况调大。 观察界面告警是否清除。 是，处理完毕。 否，执行3 联系OBS运维人员查看OBS服务是否正常。 是，执行4。
登录FusionInsight Manager，选择“运维 > 告警 > 阈值设置 > meta > OBS的read接口调用失败总数”，将阈值或平滑次数参数的值根据实际情况调大。 观察界面告警是否清除。 是，处理完毕。 否，执行3。 联系OBS运维人员查看OBS服务是否正常。 是，执行4。
切换为Spark后，客户端下发的Hive SQL在Hive端进行逻辑层处理和生成物理执行计划，并将执行计划转换成RDD语义下的DAG，最后将DAG作为Spark的任务提交到Spark集群上进行计算，并合理利用Spark分布式内存计算能力，提高了Hive查询效率。 父主题： Hive
以下操作步骤以导入Java样例代码为例。操作流程如图1所示。 图1 导入样例工程流程 操作步骤 参考获取MRS应用开发样例工程，下载样例工程到本地。 将Java样例工程导入到IDEA中。 打开IntelliJ IDEA。在“Quick Start”页面选择“Import Project”。
在Run:中出现下面提示，则说明打包成功。 图5 打包成功提示 您可以从项目目录下的target文件夹中获取到Jar包。 图6 获取jar包 将2中生成的Jar包（如CollectFemaleInfo.jar）复制到Spark运行环境下（即Spark客户端），如“/opt/femal
通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 运行Python样例代码无需通过Maven打包。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录（例如“ /opt/example/” ）下。 运行任务 登录Spark客户端节点，执行如下命令：
hdfs.server.datanode.fsdataset.AvailableSpaceVolumeChoosingPolicy 解决办法 将DataNode选择磁盘策略的参数dfs.datanode.fsdataset.volume.choosing.policy的值改为：org
请求OBS接口频率太高。 处理步骤 登录FusionInsight Manager，选择“运维 > 告警 > 阈值设置 > meta > OBS操作被流控总数”，将阈值或平滑次数参数的值根据实际情况调大。 观察界面告警是否清除。 是，处理完毕。 否，执行3。 联系OBS运维人员查看OBS服务是否正常。 是，执行4。
Trash/Current/user 是，执行3。 否，执行5。 默认数据仓库存在自动恢复机制，用户可等待默认数据仓库的恢复（5 ~10s）。如果未恢复，用户可执行以下命令，将warehouse重新复原。 hdfs dfs -mv hdfs://hacluster/user/<用户名>/.Trash/Current
n的FileSlice，最后CompactionPlan会写入Hudi的Timeline。 执行Compaction：一个单独的进程/线程将读取CompactionPlan并对FileSlice执行Compaction操作。 使用Compaction的方式分为同步和异步两种： 同步方式由参数hoodie
的每个列都归属于某个列族。 列族 列族是预定义的列集合，存储在HBase Schema中。如果需要在列族下创建一些列，首先需创建列族。列族将HBase中具有相同性质的数据进行重组，且没有类型的限制。同一列族的每行数据存储在同一个服务器中。每个列族像一个属性，如压缩包、时间戳、数据块缓存等。
male,50 CaiXuyu,female,50 FangBo,female,60 数据规划 DataStream样例工程的数据存储在文本中。 将log1.txt和log2.txt放置在指定路径下，例如"/opt/log1.txt"和"/opt/log2.txt"。 数据文件若存放在本地文件系统，需在所有部署Yarn
旧插件storm-kafka中的KafkaSpout使用的是Kafka的“SimpleConsumer”接口，需要自主管理offset，KafkaSpout中根据用户定义的字段将Topic中每个Patition的offset记录在ZooKeeper中，定义如下： public SpoutConfig(BrokerHosts
MRS 2.x及之前版本，操作步骤如下： 使用admin用户登录MRS Manager界面，选择“服务管理 > HBase > 服务配置”，将“参数类别”的“基础配置”切换为“全部配置”，选择“HMaster > 自定义”，给参数“hbase.hmaster.config.expandor”新增名称为“hbase
户端升级操作。 登录集群主节点并执行以下命令： cd /opt/Bigdata/patches/{MRS补丁版本号}/download/ 将补丁安装包拷贝到客户端机器/opt/目录下： scp patch.tar.gz {客户端机器IP}:/opt/ 例如： scp patch.tar
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
