检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
jks”分别为Flume服务端、客户端SSL证书信任列表。 本章节涉及到所有的用户自定义密码,需满足以下复杂度要求: 至少包含大写字母、小写字母、数字、特殊符号4种类型字符 至少8位,最多64位 出于安全考虑,建议用户定期更换自定义密码(例如三个月更换一次),并重新生成各项证书和信任列表。 在FusionInsight
link提供了丰富的状态管理相关的特性,包括: 多种基础状态类型:Flink提供了多种不同数据结构的状态支持,如ValueState、ListState、MapState等。用户可以基于业务模型选择最高效、合适状态类型。 丰富的State Backend:State Backen
添加“DriverManager.setLoginTimeout(n)”方法来设置超时时长,其中n表示等待服务返回的超时时长,单位为秒,类型为Int,默认为“0”(表示永不超时)。建议根据业务场景,设置为业务所能容忍的最大等待时长。 父主题: Spark常用API介绍
ta支持易于使用的DDL(数据定义语言)语句来定义和创建数据集。CarbonData DDL十分灵活、易于使用,并且足够强大,可以定义复杂类型的Table。 便捷的数据管理:CarbonData为数据加载和维护提供多种数据管理功能,支持加载历史数据以及增量加载新数据。Carbon
以被多个调用者执行读操作。 HDFS文件系统中目录结构如下表所示。 表1 HDFS文件系统目录结构(适用于MRS 3.x之前版本) 路径 类型 简略功能 是否可以删除 删除的后果 /tmp/spark/sparkhive-scratch 固定目录 存放Spark JDBCServer中metastore
选择“委托 > 创建委托”。 在创建委托页面配置以下参数,并单击“完成”: 委托名称:设置委托名称,例如:agency-MRS-to-OBS。 委托类型:选择“普通账号”。 委托的账号:填写本用户的云账号,即使用手机号开通的账号,不能是联邦用户或者IAM用户。 持续时间:选择“永久”。 在
单击管理”。 单击“添加映射”,并参考表1配置相关参数。 表1 添加OBS权限控制映射关系 参数 说明 IAM委托 选择2中创建的委托。 类型 User:在用户级别进行映射 Group:用户组级别进行映射 说明: 用户级别的映射优先级大于用户组级别的映射。若选择Group,建议在
该角色添加到组中,单击“确定”完成用户组的创建。 选择“系统 > 权限 > 用户 > 添加用户”: “用户名”填写待添加的用户名。 “用户类型”设置为“人机”。 设置登录Hue的WebUI界面的“密码”、“确认密码”。 单击“用户组”后的“添加”,在弹出的界面选择3创建的用户组、
ClickHouse日志详细信息 日志类型 日志文件名 描述 ClickHouse相关日志 /var/log/Bigdata/clickhouse/clickhouseServer/clickhouse-server.err.log ClickHouseServer服务运行错误日志文件路径。
SSL加密配置 服务端配置。 登录FusionInsight Manager页面,选择“集群 > 服务 > Kafka > 配置”,参数类别设置为“全部配置”,搜索“ssl.mode.enable”并配置为“true”。 客户端配置。 登录集群的FusionInsight Manager,选择“集群
RPC_PORT”中自行配置。默认端口如下: 开源端口默认值为:6667 定制端口默认值为:22260 端口定制/开源区分:创建LTS版本类型集群时,可以选择“组件端口”为“开源”或是“定制”,选择“开源”使用开源端口,选择“定制”使用定制端口。 root用户初始密码MRS 3.3
Structure”页面,选择“Artifacts”,单击“+”并选择“JAR > Empty”。 图1 添加Artifacts 您可以根据实际情况设置Jar包的名称、类型以及输出路径。 图2 设置基本信息 选中“'FlinkStreamJavaExample' compile output”,右键选择“Put
为与之相连的avro source监测的端口。 21154 ssl 是否启用SSL认证(基于安全要求,建议启用此功能)。 只有“Avro”类型的Source才有此配置项。 true表示启用 false表示不启用 false 单击“导出”,将配置文件“properties.properties”保存到本地。
是否发送DDL(数据库与数据表的定义修改)事件 true:发送DDL事件 false:不发送DDL事件 false producer 是 生产者类型,配置为kafka stdout:将生成的事件打印在日志中 kafka:将生成的事件发送到kafka stdout producer_partition_by
为与之相连的avro source监测的端口。 21154 ssl 是否启用SSL认证(基于安全要求,建议启用此功能)。 只有“Avro”类型的Source才有此配置项。 true表示启用 false表示不启用 false 单击“导出”,将配置文件“properties.properties”保存到本地。
败的情况。 当前IAM用户名中存在空格时(例如admin 01),不支持添加作业。 单击“作业管理”,在作业列表界面单击“添加”。 “作业类型”选择“HadoopStreaming”,参考表1配置作业信息。 表1 作业配置信息 参数 描述 示例 作业名称 作业名称,只能由字母、数
登录MRS Manager页面。 详细操作请参考访问MRS集群Manager。 参考表1访问对应站点。 表1 开源组件Web站点地址 站点类型 站点地址(MRS 3.x之前版本) 站点地址(MRS 3.x及之后版本) HDFS NameNode MRS 3.x之前版本集群,在集群详情页选择“组件管理
是否发送DDL(数据库与数据表的定义修改)事件 true:发送DDL事件 false:不发送DDL事件 false producer 是 生产者类型,配置为kafka stdout:将生成的事件打印在日志中 kafka:将生成的事件发送到kafka stdout producer_partition_by
upload.jar.max.size”即可设置jar文件阈值,取值范围为100-5120,单位MB。 Main Class Main-Class类型。 默认:默认根据Jar包文件的Mainfest文件指定类名。 指定:手动指定类名。 类名 类名。 “Main Class”选择“指定”时存在该参数。
---------------+ 根据如上信息,可知SFTP连接器类型ID为6。 执行如下命令,创建连接器,根据提示输入具体的连接器信息。 create connection -c 连接器类型ID 例如,连接器类型的ID为6,则执行如下命令: create connection -c