检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
park应用(包括正在运行的应用和已经完成的应用),每个应用的信息如下表1。 表1 应用常用信息 参数 描述 id 应用的ID name 应用的Name attempts 应用的尝试,包含了开始时间、结束时间、执行用户、是否完成等信息 获取JobHistory中某个应用的信息: 命令:
RDD.iterator(RDD.scala:265) at org.apache.spark.rdd.MapPartitionsRDD.compute(MapPartitionsRDD.scala:38) at org.apache.spark.rdd.RDD.c
WindowAll def apply[R: TypeInformation](function: AllWindowFunction[T, R, W]): DataStream[R] 应用一个一般的函数到窗口上,窗口中的数据会作为一个整体被计算。 def apply[R: TypeI
WindowAll def apply[R: TypeInformation](function: AllWindowFunction[T, R, W]): DataStream[R] 应用一个一般的函数到窗口上,窗口中的数据会作为一个整体被计算。 def apply[R: TypeI
Spark Structured Streaming样例程序(Java) 功能介绍 在Spark应用中,通过使用StructuredStreaming调用Kafka接口来获取单词记录,然后把单词记录分类统计,得到每个单词记录数。 代码样例 下面代码片段仅为演示,具体代码参见:com
实例”,在“实例”界面查看“HiveServer”的“主机名称”获取。 在运行样例代码前,需要将样例代码中的PRNCIPAL_NAME改为安全认证的用户名。 父主题: Hive应用开发常见问题
用户需要在应用代码中将checkpoint设置为FsStateBackend。例如: env.setStateBackend(new FsStateBackend("hdfs://hacluster/flink/checkpoint/")); 父主题: Flink应用开发常见问题
1/keytab/spark2x/SparkResource/spark2x.keytab --master yarn spark-submit 用于提交Spark应用到Spark集群中运行,返回运行结果。需要指定class、master、jar包以及入参。 示例:执行jar包中的GroupByTest例
Spark Structured Streaming样例程序(Scala) 功能介绍 在Spark应用中,通过使用StructuredStreaming调用Kafka接口来获取单词记录,然后把单词记录分类统计,得到每个单词记录数。 代码样例 下面代码片段仅为演示,具体代码参见:com
用户可登录FusionInsight Manager,选择“系统 > 权限 > 域和互信”,查看“本端域”参数,即为当前系统域名。 父主题: Kafka应用开发常见问题
支持Options 容错性 说明 File Sink Append Path:必须指定 指定的文件格式,参见DataFrameWriter中的相关接口 exactly-once 支持写入分区表,按时间分区用处较大 Kafka Sink Append, Update, Complete 参见:https://archive
支持Options 容错性 说明 File Sink Append Path:必须指定 指定的文件格式,参见DataFrameWriter中的相关接口 exactly-once 支持写入分区表,按时间分区用处较大 Kafka Sink Append, Update, Complete 参见:https://archive
Ping不通 应用容器化改造介绍 应用容器化改造流程 步骤1:对应用进行分析 更多 访问外网 应用容器化改造介绍 应用容器化改造流程 步骤1:对应用进行分析 步骤2:准备应用运行环境 更多 操作系统相关 应用容器化改造介绍 应用容器化改造流程 步骤1:对应用进行分析 步骤2:准备应用运行环境
下载认证凭据”下载认证凭据文件,保存后解压得到该用户的“user.keytab”文件与“krb5.conf”文件。 准备运行环境配置文件 进行应用开发时,需要同时准备代码的运行调测的环境,用于验证应用程序运行正常。 场景一:准备本地Windows开发环境调测程序所需配置文件。 登录FusionInsight Manager页面,选择“集群
配置Oozie作业执行终点 功能描述 流程任务执行的终点,每个流程任务有且仅有一个该节点。 参数解释 End Action节点中包含的各参数及其含义,请参见表1。 表1 参数含义 参数 含义 name end活动的名称 样例代码 <end name="end"/> 父主题:
修改HBase表 功能简介 HBase通过org.apache.hadoop.hbase.client.Admin的modifyTable方法修改表信息。 代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“HBaseSample”类的testModifyTable方法中。
Oozie Shell接口介绍 表1 接口参数说明 命令 参数 含义 oozie version 无 显示oozie版本信息 oozie job -config <arg> 指定job配置文件(job.properties)路径 -oozie <arg> 指定oozie server地址
使用Get API读取HBase表数据 功能简介 要从表中读取一条数据,首先需要实例化该表对应的Table实例,然后创建一个Get对象。也可以为Get对象设定参数值,如列族的名称和列的名称。查询到的行数据存储在Result对象中,Result中可以存储多个Cell。 代码样例 以下代码片段在com
创建HBase表二级索引 功能简介 一般都通过调用org.apache.hadoop.hbase.hindex.client.HIndexAdmin中方法进行HBase二级索引的管理,该类中提供了创建索引的方法。 二级索引不支持修改,如果需要修改,请先删除旧的然后重新创建。 代码样例
HBase JDBC API接口介绍 Phoenix实现了大部分的java.sql接口,SQL语法紧跟ANSI SQL标准。 其支持处理函数可参见: http://phoenix.apache.org/language/functions.html 其支持语法可参见: http://phoenix