检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
添加MRS节点引导操作安装第三方软件 引导操作安装第三方软件前提条件 已参考准备MRS节点引导操作脚本准备好引导操作脚本。 创建集群时添加引导操作 进入购买MRS集群页面。 在购买集群页面，选择“自定义购买”。 参考自定义购买MRS集群配置集群软件配置和硬件配置信息。 在“高级配置
Spark2x无法访问Spark1.5创建的DataSource表 问题 在Spark2x中访问Spark1.5创建的DataSource表时，报无法获取schema信息，导致无法访问表。 回答 原因分析： 这是由于Spark2x与Spark1.5存储DataSoure表信息的格式不一致导致的
当应用程序从lost_and_found队列移动到其他队列时，应用程序不能继续执行 问题 当删除一个有部分应用程序正在运行的队列，这些应用程序会被移动到“lost_and_found”队列上。当这些应用程序移回运行正常的队列时，某些任务会被挂起，不能正常运行。 回答 如果应用程序没有设置标签表达式
当客户端所在的DataNode节点有RAM_DISK，但“dfs.datanode.max.locked.memory”参数值未设置或设置过小（小于“dfs.blocksize”参数值）时（对应参数值可登录Manager，选择“集群 > 服务 > HDFS > 配置 > 全部配置”
将打包生成的jar包上传到Spark客户端所在服务器的任意目录（例如“$SPARK_HOME” ）下。
Spark Python API接口介绍 由于Spark开源版本升级，为避免出现API兼容性或可靠性问题，建议用户使用配套版本的API。 Spark Core常用接口 Spark主要使用到如下这几个类： pyspark.SparkContext：是Spark的对外接口。负责向调用该类的
如何添加自定义代码的依赖包 问题 用户在开发Spark程序时，会添加样例程序外的自定义依赖包。针对自定义代码的依赖包，如何使用IDEA添加到工程中？ 回答 在IDEA主页面，选择“File > Project Structures...”进入“Project Structure”页面
（可选）创建MapReduce样例工程 操作场景 除了导入MapReduce样例工程，您还可以使用IntelliJ IDEA新建一个MapReduce工程。 操作步骤 打开IntelliJ IDEA工具，选择“File > New > Project”，如图1所示。 图1 创建工程
将打包生成的jar包上传到Spark客户端所在服务器的任意目录（例如“ /opt/female/” ）下。
Spark Core样例程序（Python） 功能简介 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 代码样例 下面代码片段仅为演示，具体代码参见collectFemaleInfo.py： def contains(str, substr): if substr
将打包生成的jar包上传到Spark客户端所在服务器的任意目录（例如“ /opt/female/” ）下。
将打包生成的jar包上传到Spark客户端所在服务器的任意目录（例如“$SPARK_HOME” ）下。
将打包生成的jar包上传到Spark客户端所在服务器的任意目录（例如“$SPARK_HOME” ）下。
创建HBase表二级索引 功能简介 一般都通过调用org.apache.hadoop.hbase.hindex.client.HIndexAdmin中方法进行HBase二级索引的管理，该类中提供了创建索引的方法。 二级索引不支持修改，如果需要修改，请先删除旧的然后重新创建。 代码样例
HBase JDBC API接口介绍 Phoenix实现了大部分的java.sql接口，SQL语法紧跟ANSI SQL标准。 其支持处理函数可参见： http://phoenix.apache.org/language/functions.html 其支持语法可参见： http:/
说明： 基于安全考虑，服务端只支持TLS V1.2及以上的加密协议。
（可选）创建MapReduce样例工程 操作场景 除了导入MapReduce样例工程，您还可以使用IntelliJ IDEA新建一个MapReduce工程。 操作步骤 打开IntelliJ IDEA工具，选择“File > New > Project”，如图1所示。 图1 创建工程
Oozie REST接口介绍 常用接口与JAVA一样。 Java API主要由org.apache.oozie.client.OozieClient提供。 详情请参见http://oozie.apache.org/docs/5.1.0/WebServicesAPI.html。 父主题
说明： 基于安全考虑，服务端只支持TLS V1.2及以上的加密协议。
Spark Core样例程序（Scala） 功能简介 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 代码样例 下面代码片段仅为演示，具体代码参见com.huawei.bigdata.spark.examples.FemaleInfoCollection： 样例：类
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
