检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
apache.org/24/documentation.html。 Producer重要接口 表1 Producer重要参数 参数 描述 备注 bootstrap.servers Broker地址列表。 生产者通过此参数值,创建与Broker之间的连接。 security.protocol
更改NodeManager单个实例的存储目录需要停止并重新启动实例,该节点NodeManager实例未启动前无法提供服务。 服务参数配置如果使用旧的存储目录,需要更新为新目录。 更改NodeManager的存储目录以后,需要重新下载并安装客户端。 前提条件 在各个数据节点准备并安装好新磁盘,并格式化磁盘。
实例”,在Presto实例列表中,查看所有Coordinator或Worker“运行状态”是否都呈现“未知”状态。 是,执行2。 否,执行4。 在Presto实例列表上方,单击“更多 > 重启服务”,重启Coordinator/Worker进程。 在告警列表中,查看“ALM-45325
实例”,在Presto实例列表中,查看所有Coordinator或Worker实例状态是否都呈现未知状态。 是,执行2。 否,执行1。 在Presto实例列表上方,单击“更多 > 重启服务”,重启Coordinator/Worker进程。 在告警列表中,查看“ALM-45325 Presto服务不可用”告警是否清除。
Spark Streaming应用运行过程中重启Kafka,Web UI界面部分batch time对应Input Size为0 records 父主题: Spark常见问题
= ConnectionFactory.createConnection(hbaseConfig); // 获取HBase表 Table table = conn.getTable(TableName.valueOf(tableName));
Spark Core企业级能力增强 配置Spark HA增强高可用 配置Spark Native引擎 配置Spark事件队列大小 配置parquet表的压缩格式 使用Ranger时适配第三方JDK 配置Spark小文件自动合并 使用Spark小文件合并工具说明 配置流式读取Spark Driver执行结果
Spark同步HBase数据到CarbonData(Java) 以下为Spark同步HBase数据到CarbonData的Java示例。 下面代码片段仅为演示。 具体代码参见:com.huawei.spark.examples.HBaseExternalHivetoCarbon。
Spark同步HBase数据到CarbonData(Java) 以下为Spark同步HBase数据到CarbonData的Java示例。 下面代码片段仅为演示。 具体代码参见:com.huawei.spark.examples.HBaseExternalHivetoCarbon。
Combine output records=6 Reduce input groups=3 Reduce shuffle bytes=114 Reduce input records=6 Reduce output records=2 Spilled Records=12 Shuffled Maps
用户定义聚集函数UDAF(User-Defined Aggregating Functions),用于接受多个输入数据行,并产生一个输出数据行。 用户定义表生成函数UDTF(User-Defined Table-Generating Functions),用于操作单个输入行,产生多个输出行。Impala不支持该类UDF。
用户定义聚集函数UDAF(User-Defined Aggregating Functions),用于接受多个输入数据行,并产生一个输出数据行。 用户定义表生成函数UDTF(User-Defined Table-Generating Functions),用于操作单个输入行,产生多个输出行。Impala不支持该类UDF。
实例”,在Presto实例列表中,查看所有Coordinator或Worker实例状态是否都呈现未知状态。 是,执行2。 否,执行1。 在Presto实例列表上方,单击“更多 > 重启服务”,重启Coordinator/Worker进程。 在告警列表中,查看“ALM-44000 Presto服务不可用”告警是否清除。
"table" : { "identifier" : "`default_catalog`.`default_database`.`datagen`", "resolvedTable" : { "schema" : {
val words = str.split("\\s") if (words.length < 2) return new Tuple2[String, String] new Tuple2[String, String](words(0), words(1))
w.everyone.if.no.acl.found”的值修改为“true”(普通集群不需配置)。 创建Topic。 {zkQuorum}表示ZooKeeper集群信息,格式为IP:port。 $KAFKA_HOME/bin/kafka-topics.sh --create --zookeeper
= input.getString(0); String[] words = sentence.split(" "); for (String word : words) { word = word.trim();
TaskManager支持手动水平扩展。 Flink开发接口简介 Flink DataStream API提供Scala和Java两种语言的开发方式,如表1所示。 表1 Flink DataStream API接口 功能 说明 Scala API 提供Scala语言的API,提供过滤、join、窗口
TaskManager支持手动水平扩展。 Flink开发接口简介 Flink DataStream API提供Scala和Java两种语言的开发方式,如表1所示。 表1 Flink DataStream API接口 功能 说明 Scala API 提供Scala语言的API,提供过滤、join、窗口、聚合等数据处理能力。
选择“集群 > 待操作集群的名称 > 服务 > Flume > Flume管理”,即可查看当前Flume客户端列表及进程状态。 图1 Flume管理 选择“实例ID”,进入客户端监控列表,在“实时”区域框中,可查看客户端的各监控指标。 选择“历史”进入历史监控数据查询界面。筛选时间段,单击“查看”可显示该时间段内的监控数据。