检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如何在不同的namespaces上逻辑地分割数据 为什么在Spark Shell中不能执行更新命令？ 如何在CarbonData中配置非安全内存？ 设置了HDFS存储目录的磁盘空间配额，CarbonData为什么会发生异常？ 开启防误删下，为什么Carbon表没有执行drop table命令，回收站中也会存在该表的文件？
对于数据量过大，需要调整executor的内存大小的，使用--executor-memory指定内存大小； 对于同时运行的task太多，主要看--executor-cores设置的vcore数量。 问题2： 需要在相应的task的日志里面查找异常原因。如果有OOM的情况，请参照问题1。 父主题： 使用Spark
先合并小文件或者尝试使用combineInputFormat来减少任务读取的文件数量。 增大hadoop命令执行时的内存，该内存在客户端中设置，修改“客户端安装目录/HDFS/component_env”文件中“CLIENT_GC_OPTS”的“-Xmx”参数，将该参数的默认值改
从零开始使用Kudu Kudu是专为Apache Hadoop平台开发的列式存储管理器。Kudu具有Hadoop生态系统应用程序的共同技术特性：可水平扩展，并支持高可用性操作。 前提条件 已安装集群客户端，例如安装目录为“/opt/hadoopclient”，以下操作的客户端目录只是举例，请根据实际安装目录修改。
从零开始使用Kudu Kudu是专为Apache Hadoop平台开发的列式存储管理器。Kudu具有Hadoop生态系统应用程序的共同技术特性：可水平扩展，并支持高可用性操作。 前提条件 已安装集群客户端，例如安装目录为“/opt/hadoopclient”，以下操作的客户端目录只是举例，请根据实际安装目录修改。
Module”，然后单击“Next”。如果您需要新建Java语言的工程，选择对应参数即可。 图2 选择开发环境 在工程信息页面，填写工程名称和存放路径，设置JDK版本，并勾选“Config later”（待工程创建完毕后引入scala的编译库文件），然后单击“Finish”完成工程创建。 图3
Female Info"); job.setJarByClass(FemaleInfoCollector.class); // 设置运行时执行map，reduce的类，也可以通过配置文件指定。 job.setMapperClass(CollectionMapper
found”。该问题原因是操作系统的GLIBCXX版本较低，导致该特性依赖的libnativetask.so.1.0.0库无法加载，进而导致任务失败。 规避手段： 设置配置项mapreduce.job.map.output.collector.class的值为org.apache.hadoop.mapred
口： 方法 说明 public void setFileColumn() 设置这个列族为存储文件的列族。 public void setFileThreshold(int fileThreshold) 设置存储文件大小的阈值。 org.apache.hadoop.hbase.filestream
Kudu Kudu是专为Apache Hadoop平台开发的列式存储管理器，具有Hadoop生态系统应用程序的共同技术特性：在通用的商用硬件上运行，可水平扩展，提供高可用性。 Kudu的设计具有以下优点： 能够快速处理OLAP工作负载 支持与MapReduce，Spark和其他Hadoop生态系统组件集成
准备本地应用开发环境 准备开发环境 在进行应用开发时，要准备的开发和运行环境如表1所示。 表1 开发环境 准备项 说明 操作系统 开发环境：Windows系统。 运行环境：Linux系统。 如需在本地调测程序，运行环境需要和集群业务平面网络互通。 安装JDK 开发和运行环境的基本配置。版本要求如下：
Female Info"); job.setJarByClass(FemaleInfoCollector.class); // 设置运行时执行map，reduce的类，也可以通过配置文件指定。 job.setMapperClass(CollectionMapper
rogramming-guide.html 配置自动广播阈值的方法： 在Spark的配置文件“spark-defaults.conf”中，设置“spark.sql.autoBroadcastJoinThreshold”的值。其中，<size>根据场景而定，但要求该值至少比其中一个表大。
split(",").map(_.trim) assert(filePaths.length > 0) // windowTime设置窗口时间大小，默认2分钟一个窗口足够读取文本内的所有数据了 val windowTime = ParameterTool.fromArgs(args)
t env = StreamExecutionEnvironment.getExecutionEnvironment(); // 设置并发度 env.setParallelism(1); // 解析运行参数 ParameterTool paraTool
Spark HA方案介绍 Spark多主实例HA原理与实现方案 基于社区已有的JDBCServer基础上，采用多主实例模式实现了其高可用性方案。集群中支持同时共存多个JDBCServer服务，通过客户端可以随机连接其中的任意一个服务进行业务操作。即使集群中一个或多个JDBCSer
bin__hadoop-2.6.0/conf cp sqoop-env-template.sh sqoop-env.sh 执行vim sqoop-env.sh 设置Sqoop的环境变量，Hadoop、Hive的目录根据实际目录修改。 export HADOOP_COMMON_HOME=/opt/Big
") val ssc = new StreamingContext(sparkConf, Seconds(5)) // 设置Streaming的CheckPoint目录 if (!"nocp".equals(checkPointDir)) {
支持界面执行分区重新分配（基于生成的分区方案） 支持界面选择配置创建主题（支持多种Kafka版本集群） 支持界面删除主题（仅0.8.2版本并设置参数“delete.topic.enable = true”的集群支持） 支持批量生成多个主题的分区分配，并可选择要使用的分区方案 支持批量运行重新分配多个主题的分区
户端会一直处于等待状态。 为避免出现上述场景，使用“core-site.xml”中的“ipc.client.rpc.timeout”配置项设置客户端超时时间。 该参数的参数值为毫秒。默认值为0，表示无超时。客户端超时的取值范围可以为0～2147483647毫秒。 如果Hadoop
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
