检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MRS 3.2.0-LTS.1.9补丁说明 安装补丁前必读 安装补丁前准备 安装补丁 补丁安装后操作 回滚补丁 补丁基本信息说明 父主题: MRS集群补丁说明
回滚补丁 回滚补丁前检查 回滚补丁 回滚补丁后操作 父主题: MRS 3.3.0.3.1补丁说明
MRS 3.3.0-LTS.1.1补丁说明 安装补丁前必读 安装补丁前准备 安装补丁 补丁安装后操作 回滚补丁 补丁基本信息说明 父主题: MRS集群补丁说明
MRS 1.9.3.9及其后续补丁安装后,需要重新下载安装全量的客户端,包含Master节点的原始客户端和虚拟私有云的其他节点使用的客户端(即用户自行搭建的客户端)。如果集群之前安装了1.9.3.8补丁,不需要做此操作。 主Master节点的原始客户端全量更新,请参见全量更新主Master节点的原始客户端。
working.memory.in.mb”和“spark.yarn.executor.memoryOverhead”的值。 详细信息请参考如何在CarbonData中配置非安全内存? 该内存被数据查询和加载共享。所以如果加载和查询需要同时进行,建议将“carbon.unsafe.working
working.memory.in.mb”和“spark.yarn.executor.memoryOverhead”的值。 详细信息请参考如何在CarbonData中配置非安全内存? 该内存被数据查询和加载共享。所以如果加载和查询需要同时进行,建议将“carbon.unsafe.working
修改集群服务配置参数 用户可通过MRS管理控制台的集群组件配置页面修改各组件的配置参数。 登录MRS控制台,在左侧导航栏选择“现有集群”,单击集群名称。 选择“组件管理 > 服务名称 > 服务配置”。 下拉列表默认显示“基础配置”,如果需要修改更多参数,请选择“全部配置”,界面上
存到内存,从而提高元数据的加载效率。 开启表元数据预先缓存能力 用户可以设置参数use_metadata_cache值为1或者为true,通过RocksDB将元数据预先缓存到内存。 使用ClickHouse客户端连接到ClickHouse服务端,具体请参考ClickHouse客户端使用实践。
Kakfa消费者读取单条记录过长问题 问题背景与现象 和“Kafka生产者写入单条记录过长问题”相对应的,在写入数据后,用户开发一个应用,以消费者调用新接口(org.apache.kafka.clients.consumer.*)到Kafka上读取数据,但读取失败,报异常大致如下:
提供了Scala、Java两种不同语言的样例工程,帮助用户快速了解Flink各部件的编程接口。 开发Flink应用 编译并运行程序 指导用户将开发好的程序编译并提交运行。 编译并调测Flink应用 查看程序运行结果 程序运行结果会写在用户指定的路径下,用户还可以通过UI查看应用运行情况。 查看Flink应用调测结果
PU,以及70%的内存。 查看单个服务资源使用状态。 在图表区域的服务选择框中选择指定服务,“图表”中会显示服务池此服务的资源使用状态。 用户可以选择页面自动刷新间隔的设置。 在“时间区间”选择需要查看服务资源的时间段。 单击“查看”可以查看相应时间区间的服务资源数据。 自定义服务资源报表。
参数解释: 配置Manager管理员用户的密码。 约束限制: 不涉及 取值范围: 密码长度应在8~26个字符之间。 至少包含四种字符组合,如大写字母,小写字母,数字,特殊字符(!@$%^-_=+[{}]:,./?),但不能包含空格。 不能与用户名或者倒序用户名相同。 默认取值: 不涉及 login_mode
DataStream[T] 使用一个用户自定义的Partitioner对每一个元素选择目标task。 partitioner指的是用户自定义的分区类重写partition方法。 field指的是partitioner的输入参数。 keySelector指的是用户自定义的partitioner的输入参数。
DataStream[T] 使用一个用户自定义的Partitioner对每一个元素选择目标task。 partitioner指的是用户自定义的分区类重写partition方法。 field指的是partitioner的输入参数。 keySelector指的是用户自定义的partitioner的输入参数。
DataStream[T] 使用一个用户自定义的Partitioner对每一个元素选择目标task。 partitioner指的是用户自定义的分区类重写partition方法。 field指的是partitioner的输入参数。 keySelector指的是用户自定义的partitioner的输入参数。
分析节点,必须绑定公网才能保证作业正常运行。 sqoop实例一般分布在Master节点,但作业真正运行在分析节点,因此创建数据库连接,是和Master节点通信,作业是通过Yarn任务分发到分析节点执行。 检查Sqoop实例安装目录下是否放置数据库驱动jar包,并保证jar包路径正
Producer重要参数 参数 描述 备注 bootstrap.servers Broker地址列表。 生产者通过此参数值,创建与Broker之间的连接。 security.protocol 安全协议类型。 生产者使用的安全协议类型,当前安全模式下仅支持SASL协议,需要配置为SASL_PLAINTEXT。
默认配置修改 默认会连接Spark的Executor所在节点本地的TSD进程,在MRS中一般使用默认配置即可,无需修改。 表1 OpenTSDB数据源相关配置 配置名 描述 样例值 spark.sql.datasource.opentsdb.host 连接的TSD进程地址 空(默认值)
可能原因 抓取到Hudi中的一批数据量过大,导致任务内存不足。 处理步骤 登录FusionInsight Manager,选择“集群 > 服务 > CDL”,单击“CDLService UI”右侧的超链接进入CDLService WebUI界面,在数据同步任务作业列表界面选择该作业所在行的“更多
使用MRS客户端,MRS集群外客户端的安装操作可参考集群外节点使用MRS客户端。 登录FusionInsight Manager页面,下载集群客户端软件包至主管理节点并解压,然后以root用户登录主管理节点,进入集群客户端解压路径下,复制“FusionInsight_Cluste