检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在本地Windows环境中编包并运行Spark程序 操作场景 在程序代码完成开发后，您可以在Windows环境中运行应用。使用Scala或Java语言开发的应用程序在IDEA端的运行步骤是一样的。 Windows环境中目前只提供通过JDBC访问Spark SQL的程序样例代码的运行，其他样例代码暂不提供。
在本地Windows环境中调测Spark应用 在程序代码完成开发后，您可以在Windows环境中运行应用。使用Scala或Java语言开发的应用程序在IDEA端的运行步骤是一样的。 Windows环境中目前只提供通过JDBC访问Spark SQL的程序样例代码的运行，其他样例代码暂不提供。
获取MRS应用开发样例工程 MRS样例工程构建流程 MRS样例工程构建流程包括三个主要步骤： 下载样例工程的Maven工程源码和配置文件，请参见样例工程获取地址。 配置华为镜像站中SDK的Maven镜像仓库，请参见配置华为开源镜像仓。 根据用户自身需求，构建完整的Maven工程并进行编译开发。
volume_size 否 Integer 参数解释： Master和Core节点数据磁盘存储空间，单位为GB。为增大数据存储容量，创建集群时可同时添加磁盘。可以根据如下应用场景合理选择磁盘存储空间大小： 数据存储和计算分离，数据存储在OBS系统中，集群费用相对较低，计算性能不高，并且
Checkpoint统计记录数。 10 否 jobmanager.web.backpressure.cleanup-interval 未访问反压记录清理周期。单位：ms。 600000 否 jobmanager.web.backpressure.refresh-interval 反压记录刷新周期。单位：ms。
API来执行Hive DDL，提交Mapreduce任务，查询Mapreduce任务执行结果等操作。 权限要求 表1 操作权限要求 操作类型/作用对象 操作 权限要求 DATABASE CREATE DATABASE dbname [LOCATION "hdfs_path"] 如果指定了
输入数据文件。 指定输入的文件或者输入的目录，输入的目录中如果存在当前格式则解析，如果不存在则跳过。可以指定本地文件或者目录，也可以指定HDFS/OBS文件或者目录。 input-directory 输入数据文件所在的目录，子文件多个的情况下使用。 例如，执行以下命令排查orc文件“hdf
节点自定义引导操作 特性简介 MRS提供标准的云上弹性大数据集群，目前可安装部署包括Hadoop、Spark等大数据组件。当前标准的云上大数据集群不能满足所有用户需求，例如如下几种场景： 通用的操作系统配置不能满足实际数据处理需求，例如需调大系统最大连接数。 需要安装自身业务所需
配置Windows通过EIP访问安全模式集群HDFS 操作场景 该章节通过指导用户配置集群绑定EIP，并配置HDFS文件的方法，方便用户可以在本地对样例文件进行编译。 本章节以运行HdfsExample样例为例进行说明。 操作步骤 为集群的每个节点申请弹性公网IP，并将本地Win
配置Windows通过EIP访问集群Spark 操作场景 该章节通过指导用户配置集群绑定EIP，并配置Spark文件的方法，方便用户可以在本地对样例文件进行编译。 本章节以运行SparkScalaExample样例为例进行说明。 操作步骤 为集群的每个节点申请弹性公网IP，并将本
配置Windows通过EIP访问普通模式集群HBase 操作场景 该章节通过指导用户配置集群绑定EIP，并配置HBase文件的方法，方便用户可以在本地对样例文件进行编译。 本章节以运行hbase-example中的样例为例进行说明。 操作步骤 为集群的每个节点申请弹性公网IP，并
配置Windows通过EIP访问普通模式集群Hive 操作场景 该章节通过指导用户配置集群绑定EIP，并配置Hive文件的方法，方便用户可以在本地对样例文件进行编译。 本章节以运行hive-jdbc-example样例为例进行说明。 操作步骤 为集群的每个节点申请弹性公网IP，并
配置Windows通过EIP访问安全模式集群Hive 操作场景 该章节通过指导用户配置集群绑定EIP，并配置Hive文件的方法，方便用户可以在本地对样例文件进行编译。 本章节以运行hive-jdbc-example样例为例进行说明。 操作步骤 为集群的每个节点申请弹性公网IP，并
配置Windows通过EIP访问普通模式集群HDFS 操作场景 该章节通过指导用户配置集群绑定EIP，并配置HDFS文件的方法，方便用户可以在本地对样例文件进行编译。 本章节以运行HdfsExample样例为例进行说明。 操作步骤 为集群的每个节点申请弹性公网IP，并将本地Win
配置Windows通过EIP访问安全模式集群HDFS 操作场景 该章节通过指导用户配置集群绑定EIP，并配置HDFS文件的方法，方便用户可以在本地对样例文件进行编译。 本章节以运行HdfsExample样例为例进行说明。 操作步骤 为集群的每个节点申请弹性公网IP，并将本地Win
配置Windows通过EIP访问安全模式集群Hive 操作场景 该章节通过指导用户配置集群绑定EIP，并配置Hive文件的方法，方便用户可以在本地对样例文件进行编译。 本章节以运行hive-jdbc-example样例为例进行说明。 操作步骤 为集群的每个节点申请弹性公网IP，并
LoginUtil.login(PRINCIPAL, KEYTAB, KRB, conf); } // 初始化Job任务对象。 Job job = Job.getInstance(conf, "Collect Female Info"); job
GET：请求服务器返回指定资源。 PUT：请求服务器更新指定资源。 POST：请求服务器新增资源或执行特殊操作。 DELETE：请求服务器删除指定资源，如删除对象等。 HEAD：请求服务器资源头部。 PATCH：请求服务器更新资源的部分内容。当资源不存在的时候，PATCH可能会去创建一个新的资源。
准备本地应用开发环境 在进行应用开发时，要准备的开发和运行环境如表1所示。 表1 开发环境 准备项 说明 操作系统 开发环境：Windows系统，支持Windows 7以上版本。 运行环境：Windows系统或Linux系统。 如需在本地调测程序，运行环境需要和集群业务平面网络互通。
配置Windows通过EIP访问安全模式集群Kafka 操作场景 该章节通过指导用户配置集群绑定EIP，并配置Kafka文件的方法，方便用户可以在本地对样例文件进行编译。 操作步骤 为集群的每个节点申请弹性公网IP，并将本地Windows的hosts文件添加所有节点的公网IP对应
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
