检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Kafka样例程序开发思路 场景说明 Kafka是一个分布式消息系统，在此系统上可以做一些消息的发布和订阅操作，假定用户要开发一个Producer，让其每秒向Kafka集群某Topic发送一条消息，另外，还需要实现一个Consumer，订阅该Topic，实时消费该类消息。 开发思路
）后，系统数据出现异常或未达到预期结果，模块全部故障无法使用，或者迁移数据到新集群的场景中，需要对Doris进行恢复数据操作。 系统管理员可以通过FusionInsight Manager创建恢复Doris任务并恢复数据。只支持创建任务手动恢复数据。 用户在执行备份恢复任务时，需
法使用，或者迁移数据到新集群的场景中，需要对CDL进行恢复数据操作。 CDL的元数据存储在DBService与Kafka服务中，系统管理员可以通过FusionInsight Manager创建恢复DBService与Kafka任务恢复CDL数据。只支持创建任务手动恢复数据。 只支
）后，系统数据出现异常或未达到预期结果，模块全部故障无法使用，或者迁移数据到新集群的场景中，需要对IoTDB进行恢复数据操作。 系统管理员可以通过FusionInsight Manager创建恢复IoTDB任务。只支持创建任务手动恢复数据。 只支持进行数据备份时的系统版本与当前系统版本一致时的数据恢复。
配置MRS集群告警屏蔽状态 配置告警屏蔽状态 如果如下特定场景中不希望看到FusionInsight Manager上报指定的告警，可以手动设置屏蔽。 使用过程中，不想关注某些不重要的告警，屏蔽次要告警。 第三方产品集成MRS集群时，部分告警与产品自身的告警信息重复，屏蔽重复告警。
锁定MRS集群用户 由于业务变化，用户可能长期暂停使用，为了保证安全，管理员可以锁定用户。锁定用户的方法包含以下两种方式： 自动锁定：通过设置密码策略中的“密码连续错误次数”，将超过登录失败次数的用户自动锁定。具体操作请参见配置MRS集群用户密码策略。 手动锁定：由管理员通过手动的方式将用户锁定。
切换MRS集群组件Ranger鉴权 新安装的已开启Kerberos认证的集群默认即安装了Ranger服务并启用了Ranger鉴权，用户可以通过组件的权限插件对组件资源的访问设置细粒度的安全访问策略。若不需使用Ranger进行鉴权，集群管理员可在服务页面手动停用Ranger鉴权，停
读取，会导致所需要的文件读取Task过多，采用大颗粒度的日期分区，例如年分区，可以有效降低分区个数和文件数量；对于增量不是很大的维度表，也可以采用非分区表。如果维度表的总数据量很大或者增量也很大，可以考虑采用某个业务ID进行分区，在大部分数据处理逻辑中针对大维度表，会有一定的业务
默认值。 描述 只可以包含汉字、英文字母、数字、中英文逗号、中英文句号、下划线（_）、空格和换行符，并且不能超过200个字符。 每个实例必须且只能属于一个实例组，实例首次安装时默认属于的实例组为“角色名-DEFAULT”。 单击“确定”完成创建实例组。 还可以根据实际需求对实例组执行以下操作。
MrsObsCredentialsProvider：通过MRS云服务委托获取凭证。 com.obs.services.EcsObsCredentialsProvider：通过ECS云服务获取AK/SK信息。 com.obs.services.BasicObsCredentialsProvi
b为大版本号，c为小版本号，d为补丁版本，例如 MRS 3.1.5.1。 a：代表了版本有较大的变动。 b：代表了版本有一些组件的变动。 c：代表了小版本的变动，可以向前兼容。 d：代表了补丁版本，用于问题修复。 图1 MRS普遍版集群版本号 MRS LTS版集群版本号：格式为a.b.c-LTS.d，其中a
件。Bolt可以执行过滤、函数操作、合并、写数据库等任何操作。 Tuple 一次消息传递的基本单元。 Stream 流是一组（无穷）元素的集合，流上的每个元素都属于同一个schema；每个元素都和逻辑时间有关；即流包含了元组和时间的双重属性。流上的任何一个元素，都可以用Element<tuple
假定用户有某个网站周末网民网购停留时间的日志文本，基于某些业务要求，要求开发Flink的DataStream应用程序实现如下功能： DataStream应用程序可以在Windows环境和Linux环境中运行。 实时统计总计网购时间超过2个小时的女性网民信息。 周末两天的日志文件第一列为姓名，第二列为性
假定用户有某个网站周末网民网购停留时间的日志文本，基于某些业务要求，要求开发Flink的DataStream应用程序实现如下功能： DataStream应用程序可以在Windows环境和Linux环境中运行。 实时统计总计网购时间超过2个小时的女性网民信息。 周末两天的日志文件第一列为姓名，第二列为性
这些资源包括内存、IO、网络、磁盘等。其产生的原因是为了解决原MapReduce框架的不足。最初MapReduce的committer还可以周期性的在已有的代码上进行修改，可是随着代码的增加以及原MapReduce框架设计的不足，在原MapReduce框架上进行修改变得越来越困
假定用户有某个网站周末网民网购停留时间的日志文本，基于某些业务要求，要求开发Flink的DataStream应用程序实现如下功能： DataStream应用程序可以在Windows环境和Linux环境中运行。 实时统计总计网购时间超过2个小时的女性网民信息。 周末两天的日志文件第一列为姓名，第二列为性
配置Hive表不同分区分别存储至OBS和HDFS 操作场景 存算分离场景下，Hive分区表支持不同的分区分别指定不同的存储源，可以指定一个分区表中不同分区的存储源为OBS或者HDFS。 本特性仅适用于MRS 3.2.0及之后版本。此章节仅说明分区表指定存储源的能力，关于Hive如
导入导出Hive表/分区数据 操作场景 在大数据应用场景中，往往存在将Hive中的数据表迁移到另一个集群上，使用Hive的导入导出命令可以实现表级别数据迁移，即可使用Export命令将源集群的Hive表导出到目标集群的HDFS中，再在目标集群使用Import命令将导出的数据导入到相应的Hive表中。
配置ClickHouse支持事务能力 本章节适用于MRS 3.3.0-LTS及之后版本。 操作场景 原子性是指事务是一个不可分割的工作单元，一个事务可以包含多个操作，这些操作要么全部执行，要么全都不执行。但是由于事务在执行过程中，可能出现一些意外，例如用户回滚了事务、连接断开、断电等，导致事务被中断执行。
多租户模式是将JDBCServer和租户绑定，每一个租户对应一个或多个JDBCServer，而一个JDBCServer只给一个租户提供服务。不同的租户可以配置不同的YARN队列，从而达到资源隔离，且JDBCServer根据需求动态启动，可避免浪费资源。 实现方案 多租户模式的HA方案原理如图1所示。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
