检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
registerApplicationMaster(RegisterApplicationMasterRequest request) AM通过此接口向RM进行注册。 ContainerManagementProtocol 用于ApplicationMaster与NodeManager之间。App
rmats/。 kafka_row_delimiter 每个消息体(记录)之间的分隔符。 kafka_handle_error_mode 设置为stream,会把每条消息处理的异常打印出来。需要创建视图,通过视图查询异常数据的具体处理异常。 创建视图语句,示例如下: CREATE
性能&可靠性 流处理支持24小时窗口聚合计算,毫秒级性能。 批处理支持90天窗口聚合计算,分钟级计算完成。 支持对流处理和批处理的数据进行过滤配置,过滤无效数据。 读取HDFS数据时,提前根据计算周期过滤。 作业定义平台故障、服务降级,不支持再定义作业,但是不影响已有作业计算。
性能&可靠性 流处理支持24小时窗口聚合计算,毫秒级性能。 批处理支持90天窗口聚合计算,分钟级计算完成。 支持对流处理和批处理的数据进行过滤配置,过滤无效数据。 读取HDFS数据时,提前根据计算周期过滤。 作业定义平台故障、服务降级,不支持再定义作业,但是不影响已有作业计算。
D>_Flume_Client.tar”,本章节以“FusionInsight_Cluster_1_Flume_Client.tar”为例进行描述。 上传软件包。以user用户将软件包上传到将要安装Flume服务客户端的节点目录上,例如“/opt/client” user用户为安装和运行Flume客户端的用户。
IoTDB开源增强特性 IoTDB开源增强特性:可视化 可视化运维,包含安装、卸载、一键启动和停止、配置、客户端、监控、告警、健康检查、日志。 可视化权限管理,无需后台命令行操作,支持库表级别读写权限控制。 日志级别的可视化配置动态生效、可视化下载、可视化检索、审计日志等功能。 IoTDB开源增强特性:安全加固
Manager界面,选择“运维 > 日志 > 下载”。 在“服务”中勾选如下节点信息,单击“确定”。 NodeAgent Controller OS 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟,单击“下载”。 请联系运维人员,并发送已收集的故障日志信息。 告警清除
(可选)在bin目录下调用spark-sql或spark-beeline脚本后便可直接输入SQL语句执行查询等操作。 如创建一个表,插入一条数据再对表进行查询。 spark-sql> CREATE TABLE TEST(NAME STRING, AGE INT); Time taken: 0
在FusionInsight Manager首页,选择“运维 > 日志 > 下载”。 在“服务”中勾选待操作集群的“NameNode”。 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后30分钟,单击“下载”。 请联系运维人员,并发送已收集的故障日志信息。 告警清除
Hudi TTL简介 TTL能力适用于MRS 3.5.0及之后的版本。 TTL能力目前只支持分区级别的TTL。 TTL(Time To Live)能力可以控制Hudi表中数据的生存周期,也称为数据老化。 考虑到如下两个场景: 场景1:如果需要在流场景中去删除老化的分区,只能停止流任务执行DDL命令去删除分区。
可在对应UDF信息的“操作”列编辑或删除UDF信息(只能删除未被使用的UDF项)。 (可选)如果需要立即运行或开发作业,可在“作业管理”进行相关作业配置,可参考创建FlinkServer作业。 UDF java代码及SQL样例 UDF java使用样例 package com.xxx
隔的一行数据。 kafka_row_delimiter 每个消息体(记录)之间的分隔符。 kafka_handle_error_mode 设置为stream,会把每条消息处理的异常打印出来。需要创建视图,通过视图查询异常数据的具体处理异常。 创建视图语句,示例如下: CREATE
快速使用IoTDB IoTDB是针对时间序列数据收集、存储与分析一体化的数据管理引擎。它具有体量轻、性能高、易使用的特点,支持对接Hadoop与Spark生态,适用于工业物联网应用中海量时间序列数据高速写入和复杂分析查询的需求。 背景信息 假定某某集团旗下有3个生产线,每个生产线
部配置”。 如果集群详情页面没有“组件管理”页签,请先完成IAM用户同步(在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步)。 MRS 3.x及后续版本,登录FusionInsight Manager,然后选择“集群 > 服务 > Hive > 配置
隔的一行数据。 kafka_row_delimiter 每个消息体(记录)之间的分隔符。 kafka_handle_error_mode 设置为stream,会把每条消息处理的异常打印出来。需要创建视图,通过视图查询异常数据的具体处理异常。 创建视图语句,示例如下: CREATE
D>_Flume_Client.tar”,本章节以“FusionInsight_Cluster_1_Flume_Client.tar”为例进行描述。 上传软件包。以user用户将软件包上传到将要安装Flume服务客户端的节点目录上,例如“/opt/client” user用户为安装和运行Flume客户端的用户。
val resultValue = hbase1Value.toInt + hbase2Value.toInt // 设置结果到put对象 put.addColumn(Bytes.toBytes(columnFamily), Bytes.toBytes(qualifier)
Integer.parseInt(hbase1Value) + Integer.parseInt(hbase2Value); // 设置结果到put对象 put.addColumn(Bytes.toBytes(columnFamily), Bytes.toBytes(qualifier)
val resultValue = hbase1Value.toInt + hbase2Value.toInt // 设置结果到put对象 put.addColumn(Bytes.toBytes(columnFamily), Bytes.toBytes(qualifier)
val resultValue = hbase1Value.toInt + hbase2Value.toInt // 设置结果到put对象 put.addColumn(Bytes.toBytes(columnFamily), Bytes.toBytes(qualifier)