检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
tion的invoke方法。 def addSink(fun: T => Unit): DataStreamSink[T] 过滤和映射能力 表3 过滤和映射能力的相关接口 API 说明 def map[R: TypeInformation](fun: T => R): DataStream[R]
keytab”和“krb5.conf”文件及准备运行环境时获取的配置文件放到样例工程的“storm-examples\src\main\resources”目录下。 若要在Windows或Linux中未安装客户端时提交拓扑,则需要将“streaming-site.xml”和“storm
表1 CREATE TABLE参数描述 参数 描述 db_name Database名称,由字母、数字和下划线(_)组成。 table_name Database中的表名,由字母、数字和下划线(_)组成。 STORED AS 使用CarbonData数据格式存储数据。 TBLPROPERTIES
保留期到期后,若您仍未支付账户欠款,那么集群将终止服务,系统中的数据也将被永久删除。 图1 按需计费MRS集群生命周期 华为云根据客户等级定义了不同客户的宽限期和保留期时长。 避免和处理欠费 欠费后需要及时充值,详细操作请参见账户充值。 若MRS集群不再使用,您可以将该集群删除,以免继续扣费。 您可以在管理控制台选择页面上方的“费用
在开始开发应用前,需要了解Flink的基本概念。 基本概念 准备开发和运行环境 Flink的应用程序支持使用Scala、Java两种语言进行开发。推荐使用IDEA工具,请根据指导完成不同语言的开发环境配置。Flink的运行环境即Flink客户端,请根据指导完成客户端的安装和配置。 准备本地应用开发环境 准备连接集群配置文件
概念。 Flink基本概念 准备开发和运行环境 Flink的应用程序支持使用Scala、Java两种语言进行开发。推荐使用IDEA工具,请根据指导完成不同语言的开发环境配置。Flink的运行环境即Flink客户端,请根据指导完成客户端的安装和配置。 准备本地应用开发环境 准备工程
default parquet 表的默认文件格式,包括:parquet、avro和orc。 write.delete.format.default data file format 该参数的默认值和“write.format.default”参数值保持一致,可以修改为parquet、avro或orc。
册类。 序列化功能用在两个地方:序列化任务和序列化数据。Spark任务序列化只支持JavaSerializer,数据序列化支持JavaSerializer和KryoSerializer。 操作步骤 Spark程序运行时,在shuffle和RDD Cache等过程中,会有大量的数据
册类。 序列化功能用在两个地方:序列化任务和序列化数据。Spark任务序列化只支持JavaSerializer,数据序列化支持JavaSerializer和KryoSerializer。 操作步骤 Spark程序运行时,在shuffle和RDD Cache等过程中,会有大量的数据
flink.examples.UDFState: // 用户自定义状态 class UDFState extends Serializable{ private var count = 0L // 设置用户自定义状态 def setState(s: Long)
引信息,可以获取当前用户表所有相关索引的定义及索引状态。 代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“GlobalSecondaryIndexSample”类的listIndices方法中。 本样例查询了用户表user_table对应的所有索引信息。
doop/data1/nm/containerlogs/”目录内。 Spark Job完成的任务日志保存在HDFS的“/tmp/logs/用户名/logs”目录内。 父主题: 作业管理类
件。 转储目录的磁盘空间不足。 处理步骤 检查用户名、密码和转储目录是否正确。 在MRS Manager查看转储配置页面中当前的第三方服务器用户名、密码和转储目录是否正确。 是,执行3 否,执行1.b。 修改用户名、密码和转储目录,单击“确定”,重新保存配置。 等待2分钟,查看告警列表中,该告警是否已清除。
Flume客户端可以包含多个独立的数据流,即在一个配置文件properties.properties中配置多个Source、Channel、Sink。 这些组件可以链接以形成多个数据流。 例如在一个配置中配置两个数据流,示例如下: server.sources = source1 source2 server
在FusionInsight Manager首页,选择“运维 > 告警 > 告警”,选择“告警ID”为“19021”的告警,查看“定位信息”中产生该告警的服务实例和主机名。 查看handler配置 选择“集群 > 服务 > HBase > 配置”,在界面右上角搜索“hbase.regionserver.handler
带“*”查询。 假定现在有时间序列“root.sg.d1.s1”和“root.sg.d1.s2”。 执行SELECT example(*) from root.sg.d1 那么结果集中将包括“example(root.sg.d1.s1)”和“example(root.sg.d1.s2)”的结果。
eytab文件“user.keytab”和“krb5.conf”文件以及准备运行环境配置文件时获取的所有配置文件放置在样例工程的“kafka-examples\src\main\resources”目录下。 安装IntelliJ IDEA和JDK工具后,需要在IntelliJ IDEA配置JDK。
Database名称,由字母、数字和下划线(_)组成。 table_name Database中的表名,由字母、数字和下划线(_)组成。 columnTypeList 以逗号分隔的带数据类型的列表。列名由字母、数字和下划线(_)组成。 using 参数hudi,定义和创建Hudi table。
File Encodings”,分别在右侧的“Global Encoding”和“Project Encoding”的下拉框中,选择“UTF-8”。 图15 File Encodings 然后单击“Apply”和“OK”,完成编码配置。 父主题: 准备HBase应用开发环境
Tuple 一次消息传递的基本单元。 Stream 流是一组(无穷)元素的集合,流上的每个元素都属于同一个schema;每个元素都和逻辑时间有关;即流包含了元组和时间的双重属性。流上的任何一个元素,都可以用Element<tuple,Time>的方式来表示,tuple是元组,包含了数据