检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
导入并配置Flink SpringBoot样例工程 该章节内容适用于MRS 3.3.0及之后版本。 操作场景 为了运行FusionInsight MRS产品Flink组件的SpringBoot接口样例代码,需要完成下面的操作。当前支持GaussDB(DWS)样例工程。 该章节以在
调度器切换过程中,正在Yarn上面执行的Job的Task任务会继续执行,但不会启动新的Task。 调度器切换完成后,在Yarn上面执行的任务有可能会失败进而导致业务中断。 调度器切换完成后,在租户管理中将使用Superior的相关参数。 调度器切换完成后,Capacity调度器中“资源容量”为“0”的
security.credentials.hbase.enabled”设置为“true”(该参数值默认为“false”,改为“true”后对已有业务没有影响。如果要卸载HBase服务,卸载前请将此参数值改回“false”),将配置项“spark.inputFormat.cache.enabled”设置为“false”。
默认为“gaussdba”。 gaussdba JDBC URL 连接GaussDB数据库的JDBC URL地址。格式为: jdbc:postgresql://CN业务IP:端口/数据库名称 说明: 若GaussDB数据库开启SSL,URL地址需添加如下SSL相关参数:ssl=true&sslfactory=org
安装MRS客户端 操作场景 该操作指导安装工程师安装MRS集群所有服务(不包含Flume)的客户端。Flume客户端安装请参见安装Flume客户端。 客户端可以安装集群内节点,也可以安装在集群外节点,本章节以安装目录“/opt/client”为例进行介绍,请以实际集群版本为准。 在集群外节点安装客户端前提条件
集群已启用Kerberos认证(安全模式)创建HetuEngine管理员用户,集群未启用Kerberos认证(普通模式)创建HetuEngine业务用户,并为其赋予HDFS管理员权限,即创建用户时需同时加入“hadoop”和“hadoopmanager”用户组,创建用户可参考创建HetuEngine权限角色。
user_id; 通过表级JTL进行状态后端优化 本章节适用于MRS 3.3.0及以后版本。 在Flink双流inner Join场景下,若Join业务允许join一次就可以剔除后端中的数据时,可以使用该特性。 该特性只适用于流流inner join。 可通过使用Hint方式单独为左表和右表设置不同join次数:
ager实例的IP地址。可在Manager界面,选择“集群 > 服务 > Yarn > 实例”,查看主ResourceManager实例的业务IP地址;端口号可单击“配置”,在搜索框中搜索“yarn.resourcemanager.port”参数获取。 hadoop.rpc.pr
扩容MRS集群 MRS的扩容不论在存储还是计算能力上,都可以简单地通过增加Core节点或者Task节点来完成,不需要修改系统架构,降低运维成本。集群Core节点不仅可以处理数据,也可以存储数据。可以在集群中添加Core节点,通过增加节点数量处理峰值负载。集群Task节点主要用于处理数据,不存放持久数据。
配置ClickHouse冷热分离 本章节仅适用于MRS 3.3.1及之后版本。 操作场景 ClickHouse基于开源ClickHouse的multi-volume storage特性,允许将ClickHouse表存储在包含多个设备的卷当中。通过在volume中定义不同类型的磁盘
huaweixxx.bigdata.hudi.examples.TransformerExample // 指定如何处理数据源拉取来的数据,可根据自身业务需求做定制 --enable-hive-sync // 开启hive同步,同步hudi表到hive --continuous // 指定流处理模式为连续模式
基于Kafka的Word Count数据流统计案例 应用场景 Kafka是一个分布式的消息发布-订阅系统。它采用独特的设计提供了类似JMS的特性,主要用于处理活跃的流式数据。 Kafka有很多适用的场景:消息队列、行为跟踪、运维数据监控、日志收集、流处理、事件溯源、持久化日志等。
ght应用无法正常运行。如果该节点与其他kerberos服务实例时差持续增大,则可能引起该节点组件进行kerberos认证将失败,进而引起业务异常。 可能原因 该节点的NTP服务无法正常启动。 该节点与主OMS节点NTP服务不能正常同步时间。 该节点NTP认证的key值与主OMS节点NTP服务的key值不一致。
该参数为客户端参数,keytab路径。 根据实际业务配置 是 security.kerberos.login.principal 该参数为客户端参数,如果keytab和principal都设置,默认会使用keytab认证。 根据实际业务配置 否 security.kerberos.login
提交Spark任务到新增Task节点 应用场景 MRS集群可以通过增加Task节点,提升计算能力,集群Task节点主要用于处理数据,不存放持久数据。 本章节指导用户通过租户资源绑定新增的Task节点,并提交Spark任务到新增的Task节点。 方案架构 租户是MRS大数据平台的核
ClickHouse表创建 ClickHouse依靠ReplicatedMergeTree引擎与ZooKeeper实现了复制表机制,用户在创建表时可以通过指定引擎选择该表是否高可用,每张表的分片与副本都是互相独立的。 同时ClickHouse依靠Distributed引擎实现了分
IP地址:可登录FusionInsight Manager界面,选择“集群 > 服务 > Yarn > 实例”查看任一ResourceManager的业务IP获取。 端口:ResourceManager的HTTP端口。可登录FusionInsight Manager界面,选择“集群 > 服务
IP地址:可登录FusionInsight Manager界面,选择“集群 > 服务 > Yarn > 实例”查看任一ResourceManager的业务IP获取。 端口:ResourceManager的HTTPS端口。可登录FusionInsight Manager界面,选择“集群 > 服务