-
Java样例代码 - MapReduce服务 MRS
Java样例代码 功能介绍 实时统计连续网购时间超过半个小时的女性网民信息,将统计结果直接打印或者输出写入到Kafka中。 Spark Streaming Write To Print代码样例 下面代码片段仅为演示,具体代码参见com.huawei.bigdata.spark.examples
-
HDFS Java API接口介绍 - MapReduce服务 MRS
在DistributedFileSystem中添加了以下API,以获取具有块位置的FileStatus,并从FileStatus对象打开文件。这些API将减少从客户端到Namenode的RPC调用的数量。 表6 FileSystem API接口说明 Interface接口 Description说明 public
-
如何采用Java命令提交Spark应用 - MapReduce服务 MRS
如何采用Java命令提交Spark应用 问题 除了spark-submit命令提交应用外,如何采用Java命令提交Spark应用? 回答 您可以通过org.apache.spark.launcher.SparkLauncher类采用java命令方式提交Spark应用。详细步骤如下:
-
通过JDBC访问Spark SQL样例程序开发思路 - MapReduce服务 MRS
用户自定义JDBCServer的客户端,使用JDBC连接来进行表的创建、数据加载、查询和删除。 数据规划 将数据文件上传至HDFS中。 确保以多主实例模式启动了JDBCServer服务,并至少有一个实例可连接客户端。在Linux系统HDFS客户端新建一个文本文件“data”,内容如下: Miranda,32 Karlie
-
Java样例代码 - MapReduce服务 MRS
resultValue = hiveValue + Integer.valueOf(hbaseValue); // 设置结果到put对象 put.addColumn(Bytes.toBytes(columnFamily), Bytes.toBytes("cid")
-
Kafka Java API介绍 - MapReduce服务 MRS
生产者使用的安全协议类型,当前安全模式下仅支持SASL协议,需要配置为SASL_PLAINTEXT。 sasl.kerberos.service.name 服务名 Kafka集群运行,所使用的Kerberos用户名(需配置为kafka)。 key.serializer 消息Key值序列化类 指定消息Key值序列化方式。
-
如何采用Java命令提交Spark应用 - MapReduce服务 MRS
如何采用Java命令提交Spark应用 问题 除了spark-submit命令提交应用外,如何采用Java命令提交Spark应用? 回答 您可以通过org.apache.spark.launcher.SparkLauncher类采用java命令方式提交Spark应用。详细步骤如下:
-
HDFS Java API接口介绍 - MapReduce服务 MRS
在DistributedFileSystem中添加了以下API,以获取具有块位置的FileStatus,并从FileStatus对象打开文件。这些API将减少从客户端到Namenode的RPC调用的数量。 表6 FileSystem API接口说明 Interface接口 Description说明 public
-
HDFS Java API接口介绍 - MapReduce服务 MRS
在DistributedFileSystem中添加了以下API,以获取具有块位置的FileStatus,并从FileStatus对象打开文件。这些API将减少从客户端到Namenode的RPC调用的数量。 表6 FileSystem API接口说明 Interface接口 Description说明 public
-
HDFS Java API接口介绍 - MapReduce服务 MRS
在DistributedFileSystem中添加了以下API,以获取具有块位置的FileStatus,并从FileStatus对象打开文件。这些API将减少从客户端到Namenode的RPC调用的数量。 表6 FileSystem API接口说明 Interface接口 Description说明 public
-
Java样例代码 - MapReduce服务 MRS
Java样例代码 功能简介 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 代码样例 下面代码片段仅为演示,具体代码参见com.huawei.bigdata.spark.examples.FemaleInfoCollection: SparkConf
-
MRS所使用的裸金属服务器规格 - MapReduce服务 MRS
MRS所使用的裸金属服务器规格 针对不同的应用场景,MRS使用到如下类型的裸金属服务器。 本地存储型(D2型) IO优化型(IO2) 规格命名规则 AB.C.D 例如m2.8xlarge.8 其中, A表示系列,例如:s表示通用型、c表示计算型、m表示内存型。 B表示系列号,例如
-
Java样例代码 - MapReduce服务 MRS
protocol)”注释掉。 当Streaming DataFrame/Dataset中有新的可用数据时,outputMode用于配置写入Streaming接收器的数据。其默认值为“append”。 public class SecurityKafkaWordCount { public static
-
如何采用Java命令提交Spark应用 - MapReduce服务 MRS
如何采用Java命令提交Spark应用 问题 除了spark-submit命令提交应用外,如何采用Java命令提交Spark应用? 回答 您可以通过org.apache.spark.launcher.SparkLauncher类采用java命令方式提交Spark应用。详细步骤如下:
-
MRS所使用的弹性云服务器规格 - MapReduce服务 MRS
MRS所使用的弹性云服务器规格 针对不同的应用场景,MRS使用到如下类型的弹性云服务器。 通用计算增强型:C3型、C3ne型、C6型、C6s型、C7型 内存优化型:M3型、M6型、M7型 超高I/O型:I3型、IR3型 鲲鹏内存优化型:KM1型 鲲鹏超高I/O型:KI1型 鲲鹏通用计算增强型:KC1型
-
Kafka Java API介绍 - MapReduce服务 MRS
生产者使用的安全协议类型,当前安全模式下仅支持SASL协议,需要配置为SASL_PLAINTEXT。 sasl.kerberos.service.name 服务名 Kafka集群运行,所使用的Kerberos用户名(需配置为kafka)。 key.serializer 消息Key值序列化类 指定消息Key值序列化方式。
-
Java样例代码 - MapReduce服务 MRS
Java样例代码 功能介绍 在Spark应用中,通过使用Streaming调用kafka接口来获取数据,然后把数据经过分析后,找到对应的HBase表记录,再写到HBase表。 代码样例 下面代码片段仅为演示,具体代码参见:com.huawei.bigdata.spark.examples
-
Java样例代码 - MapReduce服务 MRS
Java样例代码 功能简介 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 代码样例 下面代码片段仅为演示,具体代码参见com.huawei.bigdata.spark.examples.FemaleInfoCollection类: //创建一个配置类Sp
-
Java样例代码 - MapReduce服务 MRS
parseInt(hbase1Value) + Integer.parseInt(hbase2Value); // 设置结果到put对象 put.addColumn(Bytes.toBytes(columnFamily), Bytes.toBytes(qualifier)
-
ALM-12100 AD服务器连接异常 - MapReduce服务 MRS
产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 AD服务不可用,AD域用户同步失败;AD域用户登录FusionInsight Manager失败,AD域用户执行业务失败。 可能原因 对接第三方AD服务配置项错误 F