检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
consumer.properties JDBC作为维表(以MySQL为例) kafkaSource作为事实表,“customer_t2”作为维度表,结果写入kafkaSink。 在MySQL客户端创建维度表“customer_t2”,建表语句示例如下: CREATE TABLE customer_t2(
有数据更新、联机事务处理OLTP、复杂分析的场景,建议使用云数据库 GaussDB(for MySQL)。 MRS的Impala + Kudu也能满足该场景,Impala + Kudu可以在join操作时,把当前所有的join表都加载到内存中来实现。 父主题: 产品咨询类
进行该集群的操作,相关接口也无法调用,自动化监控或告警等运维也会停止。如果在保留期结束时您没有续费,集群将终止服务,系统中的数据也将被永久删除。 保证金 按需购买集群时,华为云根据用户等级和历史使用情况可能会冻结一定的保证金,资源释放时自动解冻保证金。更多信息,请参见保证金。
当发现某个连接中断,就自动在其他FE上建立连接进行重试。应用层代码重试需要用户自行配置多个Doris FE节点地址,做侵入式修改。 SDK 服务通过MySQL协议与Doris建立连接,部分语言的SDK已经提供了高可用能力,例如MySQL JDBC可以使用自动重试机制,建立连接时通过如下配置设置数据源:
PMS是MRS的监控进程,此进程会经常创建表分区或者新表,由于PostgreSQL会缓存当前会话访问过的对象的元数据,且PMS的数据库连接池连接会长时间存在,所以连接占用的内存会逐渐上升。 处理步骤 以root用户登录主Master节点。 执行如下命令查询PMS进程号。 ps -ef | grep
Ranger仅支持对接RDS服务MySQL数据库,版本号为:MySQL 5.7.x、MySQL 8.0。 Hive支持对接RDS服务MySQL和PostgreSQL数据库,版本号为:MySQL 5.7.x、MySQL 8.0和PostgreSQL14。 在RDS管理控制台,选择“实
源文件。 数据库用户 MRS集群系统数据库用户包含OMS数据库用户、DBService数据库用户。 数据库用户不能删除,否则可能导致集群或组件服务无法正常工作。 类别 默认用户 初始密码 描述 OMS数据库 ommdba dbChangeMe@123456 OMS数据库管理员用户,用于创建、启动和停止等维护操作。
数据库表名,用于最终保存传输的数据。 说明: 表名可以使用宏定义,具体请参考Loader算子配置项中使用宏定义。 test 临时表 数据库临时表表名,用于临时保存传输过程中的数据,字段需要和“表名”配置的表一致。 说明: 使用临时表是为了使得导出数据到数据库时,不会在目的表中产生脏数
Presto是一种开源、分布式SQL查询引擎,用于对千兆字节至PB级大小的数据源进行交互式分析查询。 Presto主要特点如下: 多数据源:Presto可以支持Mysql,Hive,JMX等多种Connector。 支持SQL:Presto完全支持ANSI SQL,用户可以直接使用SQL Shell进行查询。
a Change事件,并推送到kafka,再由sink connector推送到大数据生态系统中。 CDL目前支持的数据源有MySQL、PostgreSQL、Hudi、Kafka、ThirdParty-Kafka,目标端支持写入Kafka、Hudi、DWS以及ClickHouse。
图2 添加Doris SQL防御规则 登录安装了MySQL的节点,执行以下命令,连接Doris数据库。 若集群已启用Kerberos认证(安全模式),需先执行以下命令再连接Doris数据库: export LIBMYSQL_ENABLE_CLEARTEXT_PLUGIN=1 直接连接FE节点访问Doris数据库:
CREATE TABLE创建表 本章节主要介绍ClickHouse创建表的SQL基本语法和使用说明。 基本语法 方法一:在指定的“database_name”数据库中创建一个名为“table_name ”的表。 如果建表语句中没有包含“database_name”,则默认使用客户端登录时选择的数据库作为数据库名称。
可能存在较大的任务阻塞了队列执行时长。 处理步骤 查看FE任务执行情况。 在FusionInsight Manager界面,选择“集群 > 服务 > Doris”,在左侧图表分类中单击“连接”,查看“FE的MySQL端口连接数”监控图表,如果连接数较大;选择“实例 > FE > 图表”,在左侧
用于程序认证。 以下Doris权限配置示例供参考,在实际业务场景中可根据业务需求灵活调整。 登录安装了MySQL客户端的节点,使用admin用户连接Doris服务。 mysql -uadmin -P数据库连接端口 -hDoris FE实例IP地址 admin用户默认密码为空。 数据库连接端口为Doris
为什么YARN资源池的所有节点都被加入黑名单,而YARN却没有释放黑名单,导致任务一直处于运行状态? 回答 在YARN中,当一个APP的节点被AM(ApplicationMaster)加入黑名单的数量达到一定比例(默认值为节点总数的33%)时,该AM会自动释放黑名单,从而不会出现由于所有可用节点都被加入黑名单而任务无法获取节点资源的现象。
为什么YARN资源池的所有节点都被加入黑名单,而YARN却没有释放黑名单,导致任务一直处于运行状态? 回答 在YARN中,当一个APP的节点被AM(ApplicationMaster)加入黑名单的数量达到一定比例(默认值为节点总数的33%)时,该AM会自动释放黑名单,从而不会出现由于所有可用节点都被加入黑名单而任务无法获取节点资源的现象。
CarbonData表操作并发语法说明 DDL和DML中的操作,执行前,需要获取对应的锁,各操作需要获取锁的情况见表1 操作获取锁一览表,√表示需要获取该锁,一个操作仅在获取到所有需要获取的锁后,才能继续执行。 任意两个操作是否可以并发执行,可以通过如下方法确定:表1两行代表两个操作,这
开启Ranger鉴权后查询大宽表耗时较长。 Ranger不支持禁用OBS鉴权策略。 influxdb生成的parquet文件timestamp类型为纳秒类型,Hive读取报错。 外置RDS MYSQL场景开启添加列优化执行alter cascade操作分区表由于库中分区量较大导致MYSQL异常。 日志默认保留数量和大小调整。
使用具有Doris管理权限的用户通过MySQL客户端连接到Doris。 执行以下命令创建数据库example_db: create database if not exists example_db; 执行以下命令查看数据库信息: SHOW DATABASES; mysql> SHOW DATABASES;
问题 在HDFS客户端启动一个Balance进程,该进程被异常停止后,再次执行Balance操作,操作会失败。 回答 通常,HDFS执行Balance操作结束后,会自动释放“/system/balancer.id”文件,可再次正常执行Balance。 但在上述场景中,由于第一次