-
Flink Java API接口介绍 - MapReduce服务 MRS
DataStream<T> rescale() 以round-robin的形式将元素分区到下游操作的子集中。 public DataStream<T> broadcast() 广播每个元素到所有分区。 提供project的能力 表6 提供project的能力的相关接口 API 说明
-
在Linux环境中调测HDFS应用 - MapReduce服务 MRS
在Linux环境中调测HDFS应用 操作场景 HDFS应用程序支持在Linux环境中运行。在程序代码完成开发后,可以上传Jar包至准备好的Linux环境中运行。 HDFS应用程序运行完成后,可直接通过运行结果查看应用程序运行情况,也可以通过HDFS日志获取应用运行情况。 前提条件
-
在Linux环境中调测HDFS应用 - MapReduce服务 MRS
在Linux环境中调测HDFS应用 操作场景 HDFS应用程序支持在Linux环境中运行。在程序代码完成开发后,可以上传Jar包至准备好的Linux环境中运行。 HDFS应用程序运行完成后,可直接通过运行结果查看应用程序运行情况,也可以通过HDFS日志获取应用运行情况。 前提条件
-
通过Java API提交Oozie作业开发思路 - MapReduce服务 MRS
通过Java API提交Oozie作业开发思路 通过典型场景,用户可以快速学习和掌握Oozie的开发过程,并且对关键的接口函数有所了解。 本示例演示了如何通过Java API提交MapReduce作业和查询作业状态,代码示例只涉及了MapReduce作业,其他作业的API调用代码是一样的,只是job配置“job
-
调测Kafka Consumer样例程序 - MapReduce服务 MRS
IDEA可直接运行Consumer.java,如图1所示: 图1 运行Consumer.java 单击运行后弹出控制台窗口,可以看到Consumer启动成功后,再启动Producer,即可看到实时接收消息: 图2 Consumer.java运行窗口 在Linux调测程序 编译并生成Jar包
-
如何采用Java命令提交Spark应用 - MapReduce服务 MRS
如何采用Java命令提交Spark应用 问题 除了spark-submit命令提交应用外,如何采用Java命令提交Spark应用? 回答 您可以通过org.apache.spark.launcher.SparkLauncher类采用java命令方式提交Spark应用。详细步骤如下:
-
Linux中未安装客户端时提交Storm拓扑 - MapReduce服务 MRS
导出Jar包并上传到Linux环境。 参考打包Strom样例工程应用执行打包,并将jar包命名为“example.jar”。 将导出的Jar包复制到Linux环境的“/opt/test/lib”目录下。 切换到“/opt/test”,执行以下命令,运行Jar包。 java -classpath
-
Kafka Java API接口介绍 - MapReduce服务 MRS
Kafka Java API接口介绍 Kafka相关接口同开源社区保持一致,详情请参见http://kafka.apache.org/documentation.html#api。 父主题: Kafka接口介绍
-
Kafka Java API接口介绍 - MapReduce服务 MRS
生产者使用的安全协议类型,当前安全模式下仅支持SASL协议,需要配置为SASL_PLAINTEXT。 sasl.kerberos.service.name 服务名 Kafka集群运行,所使用的Kerberos用户名(需配置为kafka)。 key.serializer 消息Key值序列化类 指定消息Key值序列化方式。
-
HetuEngine样例程序(Java) - MapReduce服务 MRS
HetuEngine样例程序(Java) 通过HSFabric的用户名密码认证实现查询HetuEngine SQL任务 通过HSBroker的用户名密码认证实现查询HetuEngine SQL任务 通过JDBC方式实现查询HetuEngine SQL任务 父主题: 开发HetuEngine应用
-
使用Hue提交Oozie Java作业 - MapReduce服务 MRS
ples/apps/java-main/lib/oozie-examples-5.1.0.jar”。配置“Main class”的值,例如“org.apache.oozie.example.DemoJavaMain”。然后单击“添加”。 单击Oozie编辑器右上角的。 保存前如果需要修改作业名称(默认为“My
-
MapReduce Java API接口介绍 - MapReduce服务 MRS
类。也可以在“mapred-site.xml”中配置“mapred.partitioner.class”项。该方法用来分配map的输出结果到哪个reduce类,默认使用HashPartitioner,均匀分配map的每条键值对记录。例如在hbase应用中,不同的键值对应的regi
-
MapReduce Java API接口介绍 - MapReduce服务 MRS
类。也可以在“mapred-site.xml”中配置“mapred.partitioner.class”项。该方法用来分配map的输出结果到哪个reduce类,默认使用HashPartitioner,均匀分配map的每条键值对记录。例如在hbase应用中,不同的键值对应的regi
-
使用Hue提交Oozie Java作业 - MapReduce服务 MRS
ples/apps/java-main/lib/oozie-examples-5.1.0.jar”。配置“Main class”的值,例如“org.apache.oozie.example.DemoJavaMain”。然后单击“添加”。 单击Oozie编辑器右上角的。 保存前如果需要修改作业名称(默认为“My
-
HBase Java API接口介绍 - MapReduce服务 MRS
addColumn(final TableName tableName, final HColumnDescriptor column) 添加一个列簇到指定的表。 void deleteColumn(final TableName tableName, final HColumnDescriptor
-
在Linux环境中调测HBase应用 - MapReduce服务 MRS
启用多实例功能后,为其他HBase服务实例进行应用程序开发时还需执行以下命令,切换指定服务实例的客户端。 例如HBase2:source /opt/client/HBase2/component_env。 将应用开发环境中生成的样例项目Jar包(非依赖jar包)上传至客户端运行环境的“客户
-
通过Java API提交Oozie作业 - MapReduce服务 MRS
通过Java API提交Oozie作业 功能简介 Oozie通过org.apache.oozie.client.OozieClient的run方法提交作业,通过getJobInfo获取作业信息。 代码样例 代码示例中请根据实际情况,修改“OOZIE_URL_DEFALUT”为实际
-
在Linux环境中调测HDFS应用 - MapReduce服务 MRS
xml”中的kerberos相关信息一致。“hdfs-site.xml”中kerberos的配置mapred改为hdfs,需要修改的地方如图1所示。 图1 hdfs-site.xml 父主题: 调测HDFS应用
-
在Linux环境中调测Kafka应用 - MapReduce服务 MRS
install”,双击“install”运行maven的install命令。 图1 maven工具clean和install 方法二:在IDEA的下方Terminal窗口进入“pom.xml”所在目录,手动输入mvn clean install命令进行编译。 图2 idea terminal输入“mvn clean
-
HBase Java API接口介绍 - MapReduce服务 MRS
addColumn(final TableName tableName, final HColumnDescriptor column) 添加一个列簇到指定的表。 void deleteColumn(final TableName tableName, final HColumnDescriptor