检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
314834 导入数据 GeoHash默认实现类扩展自定义索引抽象类。如果没有配置handler属性为自定义的实现类,则使用默认的实现类。用户可以通过扩展默认实现类来挂载geohash的自定义实现类。自定义索引抽象类方法包括: Init方法,用来提取、验证和存储handler属性。在失败时发生异常,并显示错误信息。
查看当前生效或者被归档的Hudi time line以及某个指定instant time的详细内容。 命令格式 查看某个表生效的time line列表: call show_active_instant_list(table => '[table_name]'); 查看某个表某个时间戳后的生效的time
与其他云服务的关系 MRS服务与周边其他云服务的关系如图1所示。 图1 MRS与其他云服务的关系图 MRS服务与其他云服务的关系 表1 MRS服务与其他云服务的关系 服务名称 MRS服务与其他服务的关系 主要交互功能 虚拟私有云(Virtual Private Cloud) MR
如何让不同的业务程序分别用不同的Yarn队列? 问: 如何让不同的业务程序分别用不同的Yarn队列? 答: 在Manager页面上创建一个新的租户,然后将不同的集群业务用户绑定至不同的租户。 操作步骤 登录FusionInsight Manager,单击“租户资源”。 在左侧租户
源高吞吐量,可扩展性的消息系统。广泛用于日志收集、监控数据聚合等场景,实现高效的流式数据采集,实时数据处理存储等。 Kafka、Storm ClickHouse集群 ClickHouse是一个用于联机分析的列式数据库管理系统,具有压缩率和极速查询性能。被广泛的应用于互联网广告、A
产生Yarn队列资源不足告警时正在运行的资源队列如何查看? 问: 产生“ALM-18022 Yarn队列资源不足”告警时,正在运行的资源队列可以在哪查看? 答: Yarn资源队列可以登录Manager界面,选择“集群 > 服务 > Yarn > ResourceManager(主)”,登录Yarn的原生页面进行查看。
配置Spark表、列和数据库的用户权限 操作场景 使用SparkSQL操作表或者数据库时,如果用户访问别人创建的表或数据库,需要授予对应的权限。为了实现更严格权限控制,SparkSQL也支持列级别的权限控制。如果要访问别人创建的表上某些列,需要授予列权限。以下介绍使用Manage
访问Presto的WebUI 用户可以通过Presto的WebUI,在图形化界面查看Presto的统计信息。Presto的WebUI界面不支持使用IE浏览器访问,建议使用Google浏览器访问。 前提条件 已安装Presto服务的集群。 已安装集群客户端,例如安装目录为“/opt
默认显示所有已保存的检查报告,以列表形式展示,在检查记录列表右上方,可以筛选指定的检查对象和结果状态。如果检查类型为集群时,“查看帮助”在“检查对象”的下拉菜单中。系统执行健康检查时,涉及检查对象的监控指标数据时,并非以当前实时的监控数据进行判断,而是收集近期的历史数据,因此存在时间延迟。 表1 健康检查报告记录
HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统。本章节提供从零开始使用HBase的操作指导,通过客户端实现创建表,往表中插入数据,修改表,读取表数据,删除表中数据以及删除表的功能。 背景信息 假定用户开发一个应用程序,用于管理企业中的使用A业务的用户信息,使用HBase客户端实现A业务操作流程如下:
MRS联合消息通知服务(SMN),采用主题订阅模型,提供一对多的消息订阅以及通知功能,能够实现一站式集成多种推送通知方式(短信和邮件通知)。通过配置作业消息通知可以实现您在作业执行成功或作业执行失败时能立即接收到通知。 登录管理控制台。 单击“服务列表”选择“管理与监管 > 消息通知服务”,进入消息通知服务页面。
务自研组件,提供长期的支持和演进。 普通版:主要依托开源组件的能力,融入了MRS服务自研、成熟稳定的特性和功能,带来性能及稳定性的提升。 LTS版 集群版本 MRS集群的版本,不同版本所包含的开源组件版本及功能特性可能不同,推荐选择最新版本。 版本详细包含的组件详细可参考MRS组件版本一览表。
使用SpringBoot生产消费Kafka集群数据 本章节适用于MRS 3.3.0及之后版本。 功能简介 通过SpringBoot实现对Kafka集群生产消费的功能。 代码样例 通过SpringBoot实现Kafka生产消费的样例代码如下: @RestController public class MessageController
r。 Executor执行这些Task,将具体RDD的数据写入到步骤1创建的目录下。 Spark和YARN的关系 Spark的计算调度方式,可以通过YARN的模式实现。Spark共享YARN集群提供丰富的计算资源,将任务分布式的运行起来。Spark on YARN分两种模式:YARN
当在CarbonData表中配置了较小的blocksize,而加载的数据生成的数据文件比较大时,在HDFS上显示的blocksize会与设置值不同。这是因为,对于每一个本地block文件的首次写入,即使待写入数据的大小大于blocksize的配置值,也直接将待写入数据写入此blo
当在CarbonData表中配置了较小的blocksize,而加载的数据生成的数据文件比较大时,在HDFS上显示的blocksize会与设置值不同。这是因为,对于每一个本地block文件的首次写入,即使待写入数据的大小大于blocksize的配置值,也直接将待写入数据写入此blo
API使用样例基础上,实现了多线程并发消费,可根据Topic的Partition数目起相应个数的Consumer线程来对应消费消息。 下面代码片段在com.huawei.bigdata.kafka.example.ConsumerMultThread类中,用于实现对指定Topic的并发消费。
降低当前服务器面临的主要安全风险。 约束与限制 MRS集群的节点的操作系统版本需在HSS的Agent支撑的操作系统列表范围内,才可以安装HSS进行防护。 操作步骤 确认MRS集群的节点镜像的操作系统版本是否在主机安全服务的Agent支撑的操作系统列表范围内。 登录MRS管理控制台。
配置Hive列加密功能 操作场景 Hive支持对表的某一列或者多列进行加密;在创建Hive表时,可以指定要加密的列和加密算法。当使用insert语句向表中插入数据时,即可实现将对应列的数据加密。只支持对存储在HDFS上的TextFile和SequenceFile文件格式的Hive表进行列加密,不支持视图以及Hive
ZooKeeper与其他组件的关系 ZooKeeper和HDFS的关系 ZooKeeper与HDFS的关系如图1所示。 图1 ZooKeeper和HDFS的关系 ZKFC(ZKFailoverController)作为一个ZooKeeper集群的客户端,用来监控NameNode的状态信息。ZK