-
通过JDBC访问Spark SQL样例程序开发思路 - MapReduce服务 MRS
用户自定义JDBCServer的客户端,使用JDBC连接来进行表的创建、数据加载、查询和删除。 数据规划 将数据文件上传至HDFS中。 确保以多主实例模式启动了JDBCServer服务,并至少有一个实例可连接客户端。在Linux系统HDFS客户端新建一个文本文件“data”,内容如下: Miranda,32 Karlie
-
Spark Java API接口介绍 - MapReduce服务 MRS
writeToKafka() 支持将DStream中的数据批量写入到Kafka。 JAVADStreamKafkaWriter.writeToKafkaBySingle() 支持将DStream中的数据逐条写入到Kafka。 Spark SQL常用接口 Spark SQL中重要的类有:
-
MRS所使用的裸金属服务器规格 - MapReduce服务 MRS
MRS所使用的裸金属服务器规格 针对不同的应用场景,MRS使用到如下类型的裸金属服务器。 本地存储型(D2型) IO优化型(IO2) 规格命名规则 AB.C.D 例如m2.8xlarge.8 其中, A表示系列,例如:s表示通用型、c表示计算型、m表示内存型。 B表示系列号,例如
-
MRS所使用的弹性云服务器规格 - MapReduce服务 MRS
MRS所使用的弹性云服务器规格 针对不同的应用场景,MRS使用到如下类型的弹性云服务器。 通用计算增强型:C3型、C3ne型、C6型、C6s型、C7型 内存优化型:M3型、M6型、M7型 超高I/O型:I3型、IR3型 鲲鹏内存优化型:KM1型 鲲鹏超高I/O型:KI1型 鲲鹏通用计算增强型:KC1型
-
IoTDB Java API接口介绍 - MapReduce服务 MRS
IoTDB Java API接口介绍 IoTDB提供了一个针对原生接口的连接池(SessionPool),使用该接口时,您只需要指定连接池的大小,就可以在使用时从池中获取连接。如果超过60s没有得到一个连接,就会打印一条警告日志,但是程序仍将继续等待。 当一个连接被用完后,该连接
-
Java样例代码 - MapReduce服务 MRS
parseInt(hbase1Value) + Integer.parseInt(hbase2Value); // 设置结果到put对象 put.addColumn(Bytes.toBytes(columnFamily), Bytes.toBytes(qualifier)
-
通过Java API提交Oozie作业 - MapReduce服务 MRS
return properties; } 注意事项 通过Java API访问Oozie需要先参考环境准备章节进行安全认证,并将依赖的配置文件(配置文件Workflow.xml的开发参见配置Oozie业务运行流程)与jar包上传到HDFS,并确保进行过安全认证的用户有权限访问HDFS
-
Kafka Java API接口介绍 - MapReduce服务 MRS
生产者使用的安全协议类型,当前安全模式下仅支持SASL协议,需要配置为SASL_PLAINTEXT。 sasl.kerberos.service.name 服务名 Kafka集群运行,所使用的Kerberos用户名(需配置为kafka)。 key.serializer 消息Key值序列化类 指定消息Key值序列化方式。
-
在Linux环境中调测Kafka应用 - MapReduce服务 MRS
准备依赖的Jar包。 进入客户端安装目录,新建“lib”目录并将1生成的Jar包导入到该“lib”目录下,如 “/opt/client/lib” 进入Kafka客户端,将样例中Kafka依赖的Jar包复制到步骤2.a的lib目录下,例如: cp /opt/client/Kafka/kafka/libs/*
-
HBase Java API接口介绍 - MapReduce服务 MRS
addColumn(final TableName tableName, final HColumnDescriptor column) 添加一个列簇到指定的表。 void deleteColumn(final TableName tableName, final HColumnDescriptor
-
HBase Java API接口介绍 - MapReduce服务 MRS
addColumn(final TableName tableName, final HColumnDescriptor column) 添加一个列簇到指定的表。 void deleteColumn(final TableName tableName, final HColumnDescriptor
-
HetuEngine样例程序(Java) - MapReduce服务 MRS
HetuEngine样例程序(Java) 通过HSFabric的KeyTab认证实现查询HetuEngine SQL任务 通过HSFabric的用户名密码认证实现查询HetuEngine SQL任务 通过HSBroker的用户名密码认证实现查询HetuEngine SQL任务 通
-
ALM-12100 AD服务器连接异常 - MapReduce服务 MRS
产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 AD服务不可用,AD域用户同步失败;AD域用户登录FusionInsight Manager失败,AD域用户执行业务失败。 可能原因 对接第三方AD服务配置项错误 F
-
Java样例代码 - MapReduce服务 MRS
Java样例代码 功能简介 在Spark应用中,通过使用HBase接口来实现创建表,读取表,往表中插入数据等操作。 代码样例 下面代码片段仅为演示,具体代码参见SparkOnHbaseJavaExample: 样例:创建HBase表 public class TableCreation
-
配置NFS服务器存储NameNode元数据 - MapReduce服务 MRS
${BIGDATA_DATA_HOME}/namenode-nfs 执行如下命令,挂载NFS到NameNode主节点。 mount -t nfs -o rsize=8192,wsize=8192,soft,nolock,timeo=3,intr NFS服务器IP地址:共享目录 ${BIGDATA_DATA_HOME}/namenode-nfs
-
在Flink WebUI和Linux中调测Flink应用 - MapReduce服务 MRS
更多 > 作业详情”查看。 图2 在Flink WebUI查看运行结果 使用Flink客户端: 使用运行用户登录FusionInsight Manager,进入Yarn服务的原生页面,找到对应作业的Application,单击Application名称,进入到作业详情页面。 若作业尚未结束,可单击“Tracking
-
Spark同步HBase数据到CarbonData开发思路 - MapReduce服务 MRS
Spark同步HBase数据到CarbonData开发思路 场景说明 数据实时写入HBase,用于点查业务,数据每隔一段时间批量同步到CarbonData表中,用于分析型查询业务。 运行前置操作 安全模式下该样例代码需要读取两个文件(user.keytab、krb5.conf)。user
-
为什么ZooKeeper节点上netcat命令无法正常运行 - MapReduce服务 MRS
问题 为什么在Zookeeper服务器上启用安全的netty配置时,四个字母的命令不能与linux的netcat命令一起使用? 例如: echo stat |netcat host port 回答 Linux的netcat命令没有与Zookeeper服务器安全通信的选项,所以当启用安
-
在Flink WebUI和Linux环境中调测Flink应用 - MapReduce服务 MRS
更多 > 作业详情”查看。 图2 在Flink WebUI查看运行结果 使用Flink客户端 使用运行用户登录FusionInsight Manager,进入Yarn服务的原生页面,找到对应作业的Application,单击Application名称,进入到作业详情页面。 若作业尚未结束,可单击“Tracking
-
Spark同步HBase数据到CarbonData开发思路 - MapReduce服务 MRS
Spark同步HBase数据到CarbonData开发思路 场景说明 数据实时写入HBase,用于点查业务,数据每隔一段时间批量同步到CarbonData表中,用于分析型查询业务。 运行前置操作 安全模式下该样例代码需要读取两个文件(user.keytab、krb5.conf)。user