检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Driver同时会启动应用程序DAG调度、Stage划分、Task生成。 然后Spark会把应用的代码（传递给SparkContext的JAR或者Python定义的代码）发送到Executor上。 所有的Task执行完成后，用户的应用程序运行结束。 图1 Spark应用运行架构 约束与限制
法来Put数据，可以是一行数据也可以是数据集。 代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“HBaseSample”类的testPut方法中。 public void testPut() { LOG.info("Entering
在挂载详情中查看备份路径挂载点的剩余空间是否小于20GB。 是，执行9。 否，执行13。 查看备份目录下是否有备份包，且份目录挂载节点剩余空间小于20GB。 是，执行10。 否，执行13。 将备份包移出备份目录，或者删除备份包，直到备份目录挂载节点剩余空间大于20GB。 再一次启动该备份任务，查看备份任务是否执行成功。
utor注册shuffle service失败 在Spark应用执行过程中NodeManager出现OOM异常 安全集群使用HiBench工具运行sparkbench获取不到realm 父主题： Spark2x常见问题
说明 参考文档 了解基本概念 在开始开发应用前，需要了解HDFS的基本概念。 常用概念 准备开发和运行环境 使用IntelliJ IDEA工具，请根据指导完成开发环境配置。 HDFS的运行环境即HDFS客户端，请根据指导完成客户端的安装和配置。 准备HDFS应用开发和运行环境 准备工程
念，了解场景需求等。 Oozie应用开发常用概念 准备开发和运行环境 Oozie的应用程序当前推荐使用Java语言进行开发。可使用IDEA工具。 准备本地应用开发环境 准备工程 Oozie提供了不同场景下的样例程序，您可以导入样例工程进行程序学习。 导入并配置Oozie样例工程 根据场景开发工程
参考文档 了解基本概念 在开始开发应用前，需要了解HDFS的基本概念。 HDFS应用开发简介 准备开发和运行环境 使用IntelliJ IDEA工具，请根据指导完成开发环境配置。 HDFS的运行环境即HDFS客户端，请根据指导完成客户端的安装和配置。 准备HDFS应用开发和运行环境 准备工程
其他样例项目配置文件放置及样例代码执行注意事项指导，请参考对应样例项目“README.md”文档。 安装IntelliJ IDEA和JDK工具后，需要在IntelliJ IDEA配置JDK。 打开IntelliJ IDEA，选择“Configure”。 图1 Quick Start
据流进行有状态计算。Flink作业用于提交jar程序处理流式数据。 提交Flink作业 提交MapReduce作业 MapReduce提供快速并行处理大量数据的能力，是一种分布式数据处理模式和执行环境。MapReduce作业用于提交jar程序快速并行处理大量数据。 提交MapReduce作业
以下代码片段在com.huawei.bigdata.hbase.examples包的“HBaseExample”类的testPut方法中。 其中，com.huawei.bigdata.hbase.examples包可在获取MRS应用开发样例工程中下载的MRS对应版本的样例工程中获取。 public
法来Put数据，可以是一行数据也可以是数据集。 代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“HBaseSample”类的testPut方法中 public void testPut() { LOG.info("Entering
matchsslcontext_tls.html#matchsslcontext_tls 安装和配置IDEA 用于开发Spark应用程序的工具。版本要求：13.1.6及以上版本。 安装Scala Scala开发环境的基本配置。版本要求：2.11.0及以上版本。 安装Scala插件
念，了解场景需求等。 Oozie应用开发常见概念 准备开发和运行环境 Oozie的应用程序当前推荐使用Java语言进行开发。可使用IDEA工具。 准备本地应用开发环境 准备工程 Oozie提供了不同场景下的样例程序，您可以导入样例工程进行程序学习。 导入并配置Oozie样例工程 准备安全认证
其他日志，查看Presto的其他日志也未发现原因。 原因分析 Presto的健康检查脚本的端口检查逻辑中未做好端口的区分。 处理步骤 使用工具分别登录集群的Master节点执行如下操作。 执行如下命令编辑文件。 vim /opt/Bigdata/MRS_xxx/install/F
r_{timestamp}_{processId}/copier.log 参考集群内ClickHouseServer节点间数据迁移使用迁移工具时产生的运行日志。 /var/log/Bigdata/clickhouse/migration/数据迁移任务名/clickhouse-co
--proxy-user test1 /opt/client/Spark/spark/examples/jars/spark-examples_*.jar 查看yarn中运行的application信息。 可以看到任务的运行用户为test1，使用代理用户成功。 父主题： 使用Spark/Spark2x
阶段 说明 参考文档 了解基本概念 在开始开发应用前，需要了解HDFS的基本概念。 HDFS应用开发常用概念 准备开发环境 使用Eclipse工具，请根据指导完成开发环境配置。 准备Eclipse与JDK 准备运行环境 HDFS的运行环境即HDFS客户端，请根据指导完成客户端的安装和配置。
OpenTSDB应用开发常用概念 准备开发环境和运行环境 OpenTSDB的应用程序当前推荐使用Java语言进行开发。可使用Eclipse工具。OpenTSDB的运行环境即OpenTSDB客户端，请根据指导完成客户端的安装和配置。 OpenTSDB应用开发环境简介 准备工程 Op
ooKeeper客户端工具。 切换到客户端安装目录。 例如：cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 执行以下命令进行用户认证。(普通模式跳过此步骤) kinit 组件业务用户 执行以下命令登录客户端工具。 zkCli.sh -server
参考文档 了解基本概念 在开始开发应用前，需要了解HDFS的基本概念。 HDFS应用开发简介 准备开发和运行环境 使用IntelliJ IDEA工具，请根据指导完成开发环境配置。 HDFS的运行环境即HDFS客户端，请根据指导完成客户端的安装和配置。 准备HDFS应用开发和运行环境 准备工程
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
