检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
WebUI界面,从PgSQL导入数据到Kafka。 前提条件 集群已安装CDL、Kafka服务且运行正常。 PostgreSQL数据库需要修改预写日志的策略,操作步骤请参考PostgreSQL数据库修改预写日志的策略。 在FusionInsight Manager中创建一个人机用户,例如“cd
WebUI界面从ThirdKafka导入drs-avro-oracle数据库数据到Hudi。 该章节内容适用于MRS 3.3.0及之后版本。 前提条件 集群已安装CDL、Hudi服务且运行正常。 ThirdKafka数据库的Topic需要能被MRS集群消费,操作步骤请参考ThirdPartyKafka前置准备。
Doris慢查询语句监控 操作场景 Doris作为一个ROLAP模式的数据库,底层需依赖强大的关系型数据库引擎作为支撑。高并发、聚合查询等是常见的查询场景,但由于MRS Doris不支持慢查询管理,缺少运维监控能力,在实际问题定界过程中无法可视化地获取查询SQL的执行信息。因此需
source_type 是 String 参数解释: 数据连接类型。 约束限制: 不涉及 取值范围: RDS_POSTGRES:RDS服务PostgreSQL数据库 RDS_MYSQL:RDS服务MySQL数据库 gaussdb-mysql:云数据库GaussDB(for MySQL) 默认取值:
准备数据,在GaussDB(DWS)集群中创建数据库和表: 登录GaussDB(DWS)管理控制台,单击DWS集群“操作”列的“登录”。 登录现有GaussDB(DWS)集群的默认数据库gaussdb,执行以下命令,创建数据库“dws_test”。 CREATE DATABASE dws_test; 连
参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 数据库名 配置ClickHouse表所在的数据库 string 是 default 表名 配置数据写入ClickHouse对应的表名 string 是 无 数据处理规则 将字段值输出到ClickHouse表中。 样例
扩容MRS集群 MRS的扩容不论在存储还是计算能力上,都可以简单地通过增加Core节点或者Task节点来完成,不需要修改系统架构,降低运维成本。集群Core节点不仅可以处理数据,也可以存储数据。可以在集群中添加Core节点,通过增加节点数量处理峰值负载。集群Task节点主要用于处理数据,不存放持久数据。
view_name [ COMMENT string ] [ WITH properties ] AS query 描述 该语法是使用SELECT查询结果创建物化视图。物化视图是一个数据库对象,它包含了一个查询的结果,例如:它可以是远程数据的本地副本,单表查询或者多表join后查询的结果的行或列、
2.1 2.3.3 存储元数据的数据库:MySQL HBase 1.3.1 1.3.1 - Spark 2.2.2 3.1.1 - Kafka 1.1.0 2.11-2.4.0 - Oozie 2.x 5.1.0 - MySQL 5.7.1 RDS - Flink 1.7 1.15
overwrite directory "/path1" ...,写成功之后,会将旧数据移除到回收站,并且同时限制该目录不能为Hive元数据库中已经存在的数据库路径。 进入Hive服务配置页面: MRS 3.x之前版本,单击集群名称,登录集群详情页面,选择“组件管理 > Hive > 服
UDF),如何在多个HiveServer之间同步删除? 回答 因为多个HiveServer之间共用一个MetaStore存储数据库,所以MetaStore存储数据库和HiveServer的内存之间数据同步有延迟。如果在单个HiveServer上删除永久函数,操作结果将无法同步到其他HiveServer上。
admin; 设置在默认数据库中,查询其他用户表的权限 在“配置资源权限”的表格中选择“待操作集群的名称 > Hive > Hive读写权限”。 在数据库列表中单击指定的数据库名称,显示数据库中的表。 在指定表的“权限”列,勾选“查询”。 设置在默认数据库中,导入数据到其他用户表的权限
a角色实例的IP地址。 kafka_topic_list 是 Kafka的topic列表。 kafka_group_name 是 Kafka的Consumer Group名称,可以自己指定。 kafka_format 是 Kafka消息体格式。例如JSONEachRow、CSV、XML等。
Hive读写权限”。 在数据库列表中单击指定的数据库名称,显示数据库中的表。 在指定表的“权限”列,勾选“插入”。 设置在默认数据库中,导入数据到其他用户表的权限 在“配置资源权限”的表格中选择“待操作集群的名称 > Hive > Hive读写权限”。 在数据库列表中单击指定的数据库名称,显示数据库中的表。
Hudi Hudi是一种数据湖的存储格式,在Hadoop文件系统之上提供了更新数据和删除数据的能力以及消费变化数据的能力。支持多种计算引擎,提供IUD接口,在HDFS的数据集上提供了插入更新和增量拉取的功能。 如需使用Hudi,请确保MRS集群内已安装Spark/Spark2x服务。
UDF),如何在多个HiveServer之间同步删除? 回答 因为多个HiveServer之间共用一个MetaStore存储数据库,所以MetaStore存储数据库和HiveServer的内存之间数据同步有延迟。如果在单个HiveServer上删除永久函数,操作结果将无法同步到其他HiveServer上。
CDL作业示例请参见创建CDL作业。 前提条件 集群已安装CDL、Kafka服务且运行正常。 PostgreSQL数据库需要修改预写日志的策略,操作步骤请参考PostgreSQL数据库修改预写日志的策略。 在FusionInsight Manager中创建一个人机用户,例如“cd
admin; 设置在默认数据库中,查询其他用户表的权限 在“配置资源权限”的表格中选择“待操作集群的名称 > Hive > Hive读写权限”。 在数据库列表中单击指定的数据库名称,显示数据库中的表。 在指定表的“权限”列,勾选“查询”。 设置在默认数据库中,导入数据到其他用户表的权限
Hive读写权限”。 在数据库列表中单击指定的数据库名称,显示数据库中的表。 在指定表的“权限”列,勾选“插入”。 设置在默认数据库中,导入数据到其他用户表的权限 在“配置资源权限”的表格中选择“待操作集群的名称 > Hive > Hive读写权限”。 在数据库列表中单击指定的数据库名称,显示数据库中的表。
执行以下操作使得新扩容的磁盘容量生效。 如果是新增分区操作,请执行8。新增分区操作是指把扩容的磁盘容量分配给新的分区,并挂载新的ClickHouse数据目录到新增分区下,该操作不会有中断业务的影响。 如果是扩大已有分区操作,请执行15。扩大已有分区是指把扩容的磁盘容量分配给已存在分区下,