检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
YARN模式下，有Driver、ApplicationMaster、Executor三种进程。在任务调度和运行的过程中，Driver和Executor承担了很大的责任，而ApplicationMaster主要负责container的启停。 因而Driver和Executor的参数配置对spark应用的执行
场景说明 场景说明 假定用户有某个周末网民网购停留时间的日志文本，基于某些业务要求，要求开发Spark应用程序实现如下功能： 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 周末两天的日志文件第一列为姓名，第二列为性别，第三列为本次停留时间，单位为分钟，分隔符为“
用户需要在应用代码中将checkpoint设置为FsStateBackend。例如： env.setStateBackend(new FsStateBackend("hdfs://hacluster/flink/checkpoint/")); 父主题： Flink应用开发常见问题
为了运行MRS产品Hive组件的HCatalog接口样例代码，需要完成下面的操作。 以在Windows环境下开发HCatalog方式连接Hive服务的应用程序为例。 操作步骤 参考获取MRS应用开发样例工程，获取样例代码解压目录中“src\hive-examples”目录下的样例工程文件夹“hcatalog-example”。
pala服务的应用程序为例。 操作步骤 参考获取MRS应用开发样例工程获取Impala示例工程。 在Impala示例工程根目录，执行mvn install编译。 在Impala示例工程根目录，执行mvn eclipse:eclipse创建Eclipse工程。 在应用开发环境中，导入样例工程到Eclipse开发环境。
fSystem.mkdirs(filePath); } return true; } 父主题： 开发HDFS应用
Java样例代码 功能简介 在Spark应用中，通过使用HBase接口来实现创建表，读取表，往表中插入数据等操作。 代码样例 下面代码片段仅为演示，具体代码参见SparkOnHbaseJavaExample： 样例：创建HBase表 public class TableCreation
以在Windows环境下开发JDBC方式连接Hive服务的应用程序为例。 操作步骤 参考获取MRS应用开发样例工程获取Hive示例工程。 在Hive示例工程根目录，执行mvn install编译。 在Hive示例工程根目录，执行mvn eclipse:eclipse创建Eclipse工程。 在应用开发环境中，导入样例工程到Eclipse开发环境。
程如图1所示。 图1 导入样例工程流程 操作步骤 参考获取MRS应用开发样例工程，获取样例代码解压目录中“src”目录下的样例工程文件夹“mapreduce-example-security”。 将在准备MRS应用开发用户时得到的user.keytab和krb5.conf文件以及
以在Windows环境下开发JDBC方式连接Hive服务的应用程序为例。 导入jdbc-example样例工程之后，需要将代码中USER_NAME = "xxx"的"xxx"改成在准备MRS应用开发用户阶段创建的开发用户。 操作步骤 参考获取MRS应用开发样例工程，获取样例代码解压目录中“src
完成下面的操作。 该章节以在Windows环境下开发SpringBoot方式连接Hive服务的应用程序为例。 该章节内容适用于MRS 3.3.0及之后版本。 操作步骤 参考获取MRS应用开发样例工程，获取样例代码解压目录中“src\springboot\hive-examples
etc.”。 在“Dependencies”页面，修改“Module SDK”为“SDKs”中添加的JDK。 单击“Apply”，单击“OK”。 配置Maven。 参考配置华为开源镜像仓章节描述，增加开源镜像仓地址等配置信息到本地Maven的“setting.xml”配置文件。 修改完成后，在IntelliJ
如下是代码片段，详细代码请参考com.huawei.bigdata.hdfs.examples中的HdfsExample类。 在Linux客户端运行应用和在Windows环境下运行应用的初始化代码相同，代码样例如下所示。 //初始化 confLoad(); // 创建一个用例 HdfsExample
Impala样例程序开发思路 场景说明 假定用户开发一个Impala数据分析应用，用于管理企业雇员信息，如表1、表2所示。 开发思路 数据准备。 创建三张表，雇员信息表“employees_info”、雇员联络信息表“employees_contact”、雇员信息扩展表“empl
MRS是否支持通过Hive的HBase外表将数据写入到HBase？ 答： 不支持。 Hive on HBase只支持查询，不支持更改数据。 父主题： 应用开发类
本章节只适用Storm与JDBC组件间的访问。本章中描述的jar包的具体版本信息请以实际情况为准。 应用开发操作步骤 确认华为MRS产品Storm组件已经安装，且正常运行。 参考获取MRS应用开发样例工程，获取样例代码解压目录中“src\storm-examples”目录下的样例工程文
node_id”如何配置？ 答： 使用调整集群节点接口时，请求参数“node_id”的值固定为“node_orderadd”。 父主题： 应用开发类
HBase文件存储模块（HBase FileStream，简称HFS）是HBase的独立模块，它作为对HBase与HDFS接口的封装，应用在MRS的上层应用，为上层应用提供文件的存储、读取、删除等功能。 在Hadoop生态系统中，无论是HDFS，还是HBase，在面对海量文件存储的时候，在某些场景下，都会存在一些很难解决的问题：
完成JDK选择后，单击“Apply”。 选择“Project”，在“SDK”的下拉菜单中选择在“SDKs”中添加的JDK，在“language level”下的下拉菜单中选择“8 - Lambdas, type annotations etc.”。 单击“Apply”。 选择“Mod
完成JDK选择后，单击“Apply”。 选择“Project”，在“SDK”的下拉菜单中选择在“SDKs”中添加的JDK，在“language level”下的下拉菜单中选择“8 - Lambdas, type annotations etc.”。 单击“Apply”。 选择“Mod
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
