检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
开发Spark应用 Spark Core样例程序 Spark SQL样例程序 通过JDBC访问Spark SQL样例程序 Spark读取HBase表样例程序 Spark从HBase读取数据再写入HBase样例程序 Spark从Hive读取数据再写入HBase样例程序 Spark
开发Spark应用 Spark Core样例程序 Spark SQL样例程序 通过JDBC访问Spark SQL样例程序 Spark读取HBase表样例程序 Spark从HBase读取数据再写入HBase样例程序 Spark从Hive读取数据再写入HBase样例程序 Spark
--class：Spark应用的类名。 --master：Spark用于所连接的master，如yarn-client，yarn-cluster等。 application-jar：Spark应用的jar包的路径。 application-arguments：提交Spark应用的所需要的参数（可以为空）。
--class：Spark应用的类名。 --master：Spark用于所连接的master，如yarn-client，yarn-cluster等。 application-jar：Spark应用的jar包的路径。 application-arguments：提交Spark应用的所需要的参数（可以为空）。
配置HDFS应用安全认证 场景说明 访问安全集群环境中的服务，需要先通过Kerberos安全认证。所以HDFS应用程序中需要写入安全认证代码，确保HDFS程序能够正常运行。 安全认证有两种方式： 命令行认证： 提交HDFS应用程序运行前，在HDFS客户端执行如下命令进行认证。 kinit
设置合理的Receiver阻塞时间。 设置合理的数据处理并行度。 使用Kryo系列化。 内存调优。 设置持久化级别减少GC开销。 使用并发的标记-清理GC算法减少GC暂停时间。 运行pyspark建议 运行pyspark应用时，不能使用集群自带的python环境，需要用户自行安装python环境，并将python相关依赖包打包上传到HDFS。
policy=compact Topic创建成功后，执行以下命令运行程序。 java -cp .:/opt/client/lib/* com.huawei.bigdata.kafka.example.WordCountDemo 重新打开一个客户端连接窗口，执行以下命令，使用“kafka-console-producer
在Linux环境中编包并运行Spark程序 操作场景 在程序代码完成开发后，您可以上传至Linux客户端环境中运行应用。使用Scala或Java语言开发的应用程序在Spark客户端的运行步骤是一样的。 使用Python开发的Spark应用程序无需打包成jar，只需将样例工程复制到编译机器上即可。
e程序能够正常运行。 安全认证有两种方式： 命令行认证： 提交Oozie应用程序运行前，在Oozie客户端执行如下命令获得认证。 kinit 组件业务用户 代码认证（Kerberos安全认证）： 通过获取客户端的principal和keytab文件在应用程序中进行认证，用于Ker
Oozie应用开发应用开发简介 Oozie简介 Oozie是一个用来管理Hadoop任务的工作流引擎，Oozie流程基于有向无环图（Directed Acyclical Graph）来定义和描述，支持多种工作流模式及流程定时触发机制。易扩展、易维护、可靠性高，与Hadoop生态系统各组件紧密结合。
常运行。 安全认证有两种方式： 命令行认证： 提交Oozie应用程序运行前，在Oozie客户端执行如下命令获得认证。 kinit 组件业务用户 代码认证（Kerberos安全认证）： 通过获取客户端的principal和keytab文件在应用程序中进行认证，用于Kerberos安
e托管给NodeManager，NodeManager只会按照APP的运行周期来管理这些文件，并不会关注单个executor所在的container是否存在。因此，只有在APP结束的时候才会清理这些临时文件。任务运行时间较长时导致临时文件过多占用了大量磁盘空间。 处理步骤 启动一
Spark应用开发环境简介 在进行应用开发时，要准备的开发环境如表1所示。同时需要准备运行调测的Linux环境，用于验证应用程序运行正常。 表1 开发环境 准备项 说明 安装JDK 开发环境的基本配置。版本要求：1.7或者1.8。 说明： 基于安全考虑，MRS 服务端只支持TLS
开发Spark应用 Spark Core样例程序 Spark SQL样例程序 通过JDBC访问Spark SQL样例程序 Spark读取HBase表样例程序 Spark从HBase读取数据再写入HBase样例程序 Spark从Hive读取数据再写入HBase样例程序 Spark
准备本地应用开发环境 准备开发环境 在进行应用开发时，要准备的开发和运行环境如表1所示。 表1 开发环境 准备项 说明 操作系统 开发环境：Windows系统，支持Windows 7以上版本。 运行环境：Linux系统。 如需在本地调测程序，运行环境需要和集群业务平面网络互通。 安装JDK
创建FlinkServer应用 操作场景 通过应用来隔离不同的上层业务。 创建应用 使用具有FlinkServer管理员权限的用户访问Flink WebUI，请参考访问FlinkServer WebUI界面。 选择“系统管理 > 应用管理”，进入应用管理页面。 单击“创建应用”，在弹出的页面
创建FlinkServer应用 通过应用来隔离不同的上层业务。 使用具有FlinkServer管理员权限的用户访问Flink WebUI，请参考访问FlinkServer WebUI界面。 选择“系统管理 > 应用管理”，进入应用管理页面。 单击“创建应用”，在弹出的页面中填写应用信息，单击“确定”，完成应用创建。
MapReduce应用开发简介 Hadoop MapReduce是一个使用简易的并行计算软件框架，基于它写出来的应用程序能够运行在由上千个服务器组成的大型集群上，并以一种可靠容错的方式并行处理上T级别的数据集。 一个MapReduce作业（application/job）通常会把
Hive应用开发环境简介 在进行应用开发时，要准备的本地开发环境如表1所示。同时需要准备运行调测的Linux环境，用于验证应用程序运行正常。 表1 开发环境 准备项 说明 操作系统 开发环境：Windows系统，推荐Windows7以上版本。 运行环境：Linux系统。 安装JDK
Spark异步任务执行表compaction参数设置规范 写作业未停止情况下，禁止手动执行run schedule命令生成compaction计划。 错误示例： run schedule on dsrTable 如果还有别的任务在写这张表，执行该操作会导致数据丢失。 执行run com
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
