检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MapReduce访问多组件样例代码 功能介绍 主要分为三个部分： 从HDFS原文件中抽取name信息，查询HBase、Hive相关数据，并进行数据拼接，通过类MultiComponentMapper继承Mapper抽象类实现。 获取拼接后的数据取最后一条输出到HBase、HDF
MapReduce REST API接口介绍 功能简介 通过HTTP REST API来查看更多MapReduce任务的信息。目前Mapresuce的REST接口可以查询已完成任务的状态信息。完整和详细的接口请直接参考官网上的描述以了解其使用：http://hadoop.apache
通过JDBC访问Spark SQL样例程序（Java） 功能简介 使用自定义客户端的JDBC接口提交数据分析任务，并返回结果。 样例代码 定义SQL语句。SQL语句必须为单条语句，注意其中不能包含“;”。示例： ArrayList<String> sqlList = new ArrayList<String>();
通过JDBC访问Spark SQL样例程序（Scala） 功能简介 使用自定义客户端的JDBC接口提交数据分析任务，并返回结果。 样例代码 定义SQL语句。SQL语句必须为单条语句，注意其中不能包含“;”。示例： val sqlList = new ArrayBuffer[String]
Spark Structured Streaming样例程序（Python） 功能介绍 在Spark应用中，通过使用StructuredStreaming调用Kafka接口来获取单词记录，然后把单词记录分类统计，得到每个单词记录数。 代码样例 下面代码片段仅为演示，具体代码参见：
FlinkServer REST API样例程序开发思路 场景说明 本样例调用FlinkServer的RestAPI创建租户。 数据规划 准备用户认证文件：登录Manager下载用户凭证，获取“user.keytab”和“krb5.conf”文件。 准备待创建的租户信息，如“te
HBase服务数据读写示例安全认证（多集群互信场景） 场景说明 当不同的多个Manager系统下安全模式的集群需要互相访问对方的资源时，管理员可以设置互信的系统，使外部系统的用户可以在本系统中使用。每个系统用户安全使用的范围定义为“域”，不同的Manager系统需要定义唯一的域名
HBase全局二级索引样例程序开发思路 HBase支持使用全局二级索引加速条件查询，通过本样例，您可以了解如何管理及使用全局二级索引。 该样例程序仅适用于MRS 3.3.0及之后版本。 场景说明 假定用户开发一个应用程序，其中一个功能需要记录用户信息及地址，记录数据如下表： 表1
通过HSBroker的用户名密码认证实现查询HetuEngine SQL任务 功能简介 通过HSBroker方式连接到HetuEngine，组装对应的SQL发送到HetuEngine执行，完成对Hive数据源的增删改查操作。 public class JDBCExampleBroker
配置Spark加载第三方jar包，用于注册UDF或者扩展SparkSQL 本章节仅适用于MRS 3.5.0-LTS及之后版本。 配置场景 用户可能经常会自定义UDF或者使用一些自定义jar扩展Spark能力，针对这种第三方jar需要在Spark启动前指定好第三方类加载路径。 前提条件
检查HBase全局二级索引数据一致性 场景介绍 可使用全局二级索引工具检查用户数据和索引数据的一致性，如果索引数据与用户数据不一致，该工具可用于重新构建索引数据。 检查全局二级索引数据一致性 在HBase客户端执行以下命令可检查数据一致性，如果不一致，将重新构建索引数据。一致性检
dfs.datanode.data.dir中定义的磁盘数量等于dfs.datanode.failed.volumes.tolerated的值时，DataNode启动失败 问题 当“dfs.datanode.data.dir”中定义的磁盘数量等于“dfs.datanode.failed
向动态分区表中插入数据时，在重试的task中出现"Failed to CREATE_FILE"异常 问题 向动态分区表中插入数据时，shuffle过程中大面积shuffle文件损坏（磁盘掉线、节点故障等）后，为什么会在重试的task中出现"Failed to CREATE_FILE"异常？
Spark SQL无法查询到Parquet类型的Hive表的新插入数据 问题 为什么通过Spark SQL无法查询到存储类型为Parquet的Hive表的新插入数据？主要有以下两种场景存在这个问题： 对于分区表和非分区表，在Hive客户端中执行插入数据的操作后，会出现Spark SQL无法查询到最新插入的数据的问题。
用add jar方式创建function，执行drop function时出现问题 问题 问题一： 用户没有drop function的权限，能够drop成功。具体场景如下： 在FusionInsight Manager页面上添加user1用户，给予用户admin权限，执行下列操作：
访问Spark2x JobHistory中某个应用的原生页面时页面显示错误 问题 提交一个Spark应用，包含单个Job 百万个task。应用结束后，在JobHistory中访问该应用的原生页面，浏览器会等待较长时间才跳转到应用原生页面，若10分钟内无法跳转，则页面会显示Proxy
Spark Structured Streaming样例程序（Scala） 功能介绍 在Spark应用中，通过使用StructuredStreaming调用Kafka接口来获取单词记录，然后把单词记录分类统计，得到每个单词记录数。 代码样例 下面代码片段仅为演示，具体代码参见：com
使用Spark执行Hudi样例程序开发思路 场景说明 本章节介绍如何使用Spark操作Hudi执行插入数据、查询数据、更新数据、增量查询、特定时间点查询、删除数据等操作。 详细代码请参考样例代码。 打包项目 通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考
使用Spark执行Hudi样例程序（Python） 使用python写Hudi表 下面代码片段仅为演示，具体代码参见：sparknormal-examples.SparkOnHudiPythonExample.hudi_python_write_example。 插入数据： #insert
配置Windows通过EIP访问集群Spark 操作场景 该章节通过指导用户配置集群绑定EIP，并配置Spark文件的方法，方便用户可以在本地对样例文件进行编译。 本章节以运行SparkScalaExample样例为例进行说明。 操作步骤 为集群的每个节点申请弹性公网IP，并将本
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
