检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
link提供了丰富的状态管理相关的特性,包括: 多种基础状态类型:Flink提供了多种不同数据结构的状态支持,如ValueState、ListState、MapState等。用户可以基于业务模型选择最高效、合适状态类型。 丰富的State Backend:State Backen
jks”分别为Flume服务端、客户端SSL证书信任列表。 本章节涉及到所有的用户自定义密码,需满足以下复杂度要求: 至少包含大写字母、小写字母、数字、特殊符号4种类型字符 至少8位,最多64位 出于安全考虑,建议用户定期更换自定义密码(例如三个月更换一次),并重新生成各项证书和信任列表。 在FusionInsight
添加“DriverManager.setLoginTimeout(n)”方法来设置超时时长,其中n表示等待服务返回的超时时长,单位为秒,类型为Int,默认为“0”(表示永不超时)。建议根据业务场景,设置为业务所能容忍的最大等待时长。 父主题: Spark常用API介绍
该特性还支持窗口接收到迟到数据时输出当前窗口的开始时间和结束时间,可通过添加在Hint中'window.start.field'和'window.end.field'使用,字段类型必须是timestamp,示例如下: CREATE TABLE LD_SINK( `float` FLOAT, `string` STRING
ta支持易于使用的DDL(数据定义语言)语句来定义和创建数据集。CarbonData DDL十分灵活、易于使用,并且足够强大,可以定义复杂类型的Table。 便捷的数据管理:CarbonData为数据加载和维护提供多种数据管理功能,支持加载历史数据以及增量加载新数据。Carbon
以被多个调用者执行读操作。 HDFS文件系统中目录结构如下表所示。 表1 HDFS文件系统目录结构(适用于MRS 3.x之前版本) 路径 类型 简略功能 是否可以删除 删除的后果 /tmp/spark/sparkhive-scratch 固定目录 存放Spark JDBCServer中metastore
的解耦,另一方面可以对命令进行定制化。 DataSet DataSet是一个由特定域的对象组成的强类型集合,可通过功能或关系操作并行转换其中的对象。 每个Dataset还有一个非类型视图,即由多个列组成的DataSet,称为DataFrame。 DataFrame是一个由多个列组
RPC_PORT”中自行配置。默认端口如下: 开源端口默认值为:6667 定制端口默认值为:22260 端口定制/开源区分:创建LTS版本类型集群时,可以选择“组件端口”为“开源”或是“定制”,选择“开源”使用开源端口,选择“定制”使用定制端口。 root用户初始密码MRS 3.3
该角色添加到组中,单击“确定”完成用户组的创建。 选择“系统 > 权限 > 用户 > 添加用户”: “用户名”填写待添加的用户名。 “用户类型”设置为“人机”。 设置登录Hue的WebUI界面的“密码”、“确认密码”。 单击“用户组”后的“添加”,在弹出的界面选择3创建的用户组、
SSL加密配置 服务端配置。 登录FusionInsight Manager页面,选择“集群 > 服务 > Kafka > 配置”,参数类别设置为“全部配置”,搜索“ssl.mode.enable”并配置为“true”。 客户端配置。 登录集群的FusionInsight Manager,选择“集群
ClickHouse日志详细信息 日志类型 日志文件名 描述 ClickHouse相关日志 /var/log/Bigdata/clickhouse/clickhouseServer/clickhouse-server.err.log ClickHouseServer服务运行错误日志文件路径。
为与之相连的avro source监测的端口。 21154 ssl 是否启用SSL认证(基于安全要求,建议启用此功能)。 只有“Avro”类型的Source才有此配置项。 true表示启用 false表示不启用 false 单击“导出”,将配置文件“properties.properties”保存到本地。
是否发送DDL(数据库与数据表的定义修改)事件 true:发送DDL事件 false:不发送DDL事件 false producer 是 生产者类型,配置为kafka stdout:将生成的事件打印在日志中 kafka:将生成的事件发送到kafka stdout producer_partition_by
为与之相连的avro source监测的端口。 21154 ssl 是否启用SSL认证(基于安全要求,建议启用此功能)。 只有“Avro”类型的Source才有此配置项。 true表示启用 false表示不启用 false 单击“导出”,将配置文件“properties.properties”保存到本地。
ct min(<split-by>), max(<split-by>) from <table name>。 注意:查询的字段中不能有数据类型为字符串的字段,否则会报错:java.sql.SQLException: Invalid value for getLong()。 -columns<col
Structure”页面,选择“Artifacts”,单击“+”并选择“JAR > Empty”。 图1 添加Artifacts 您可以根据实际情况设置Jar包的名称、类型以及输出路径。 图2 设置基本信息 选中“'FlinkStreamJavaExample' compile output”,右键选择“Put
POST /v2/{project_id}/clusters/{cluster_id}/expand 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 参数解释: 项目编号。获取方法,请参见获取项目ID。 约束限制: 不涉及 取值范围: 只能
登录MRS Manager页面。 详细操作请参考访问MRS集群Manager。 参考表1访问对应站点。 表1 开源组件Web站点地址 站点类型 站点地址(MRS 3.x之前版本) 站点地址(MRS 3.x及之后版本) HDFS NameNode MRS 3.x之前版本集群,在集群详情页选择“组件管理
败的情况。 当前IAM用户名中存在空格时(例如admin 01),不支持添加作业。 单击“作业管理”,在作业列表界面单击“添加”。 “作业类型”选择“HadoopStreaming”,参考表1配置作业信息。 表1 作业配置信息 参数 描述 示例 作业名称 作业名称,只能由字母、数
<value>true</value> 重启HDFS,如图1 所示。 图1 重启hdfs 登录MRSManager,选择“服务管理 > HDFS > 服务配置”,将“参数类别”设置为“全部配置”。 搜索并查看“dfs.storage.policy.enabled”的参数值是否为“true”,如果不是,修改为“t