检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
可选项EXTENDED可以用来显示SCHEMA的数据库属性。
回答 数据源丢失可能原因是DBservice主备倒换或数据库连接数使用率超过阈值造成。 用户可以登录FusionInsight Manager页面查看告警信息。 根据告警指导清除DBService告警,问题即可解决。 父主题: HetuEngine常见问题
此接口为幂等接口: 创建时,同一个集群不允许重复key,如果数据库存在就覆盖。 接口约束 无 调用方法 请参见如何调用API。
HetuEngine提供了元数据缓存的功能,当首次访问Hive数据源的库或表时,会将该库或表的元数据信息(数据库名、表名、表字段、分区信息、权限信息等)缓存起来,后续访问时不需要再次访问Hive metastore,在Hive数据源的表数据变化不频繁的场景下,可以一定程度上提升查询的性能
“max.query.execution.time”可在“carbon.properties”文件中设置,表示一次查询允许花费的最长时间。 父主题: CarbonData数据分析
Hive作为数据仓库类型数据库,其并不能支持所有的JDBC标准API。例如事务类型的操作:rollback、setAutoCommit等,执行该类操作会获得“Method not supported”的SQLException异常。 父主题: Hive对外接口介绍
Hive作为数据仓库类型数据库,其并不能支持所有的JDBC标准API。例如事务类型的操作:rollback、setAutoCommit等,执行该类操作会获得“Method not supported”的SQLException异常。 父主题: Hive对外接口介绍
/__spark_conf__/__hadoop_conf__/carbon.properties -Djdk.tls.ephemeralDHKeySize=2048 -Dspark.ssl.keyStore=.
/__spark_conf__/__hadoop_conf__/carbon.properties -Djdk.tls.ephemeralDHKeySize=2048 -Dspark.ssl.keyStore=.
“max.query.execution.time”可在“carbon.properties”文件中设置,表示一次查询允许花费的最长时间。 父主题: CarbonData数据分析
答: 有数据更新、联机事务处理OLTP、复杂分析的场景,建议使用云数据库 GaussDB(for MySQL)。 MRS的Impala + Kudu也能满足该场景,Impala + Kudu可以在join操作时,把当前所有的join表都加载到内存中来实现。 父主题: 产品咨询类
物化视图是一个数据库对象,它包含了一个查询的结果,例如:它可以是远程数据的本地副本,单表查询或者多表join后查询的结果的行或列、行和列的子集,也可以是使用聚合函数的汇总表。 物化视图通常基于对数据表进行聚合和连接的查询结果创建。
表3 大数据组件信息 大数据组件 源端集群版本 目的端集群版本(以MRS集群版本为准) 说明 HDFS/OBS(或其他文件存储系统) Hadoop 2.8.3 Hadoop 3.3.1 - Hive 1.2.1 2.3.3 存储元数据的数据库:MySQL HBase 1.3.1 1.3.1
ThirdKafka数据库的Topic需要能被MRS集群消费,操作步骤请参考ThirdPartyKafka前置准备。
表2 配置文件 文件名称 作用 carbon.properties CarbonData配置文件。 core-site.xml 配置HDFS详细参数。 hdfs-site.xml 配置HDFS详细参数。 hbase-site.xml 配置HBase详细参数。
Kafka Consumer消费数据丢失 问题背景与现象 用户将消费完的数据存入数据库,发现数据与生产数据不一致,怀疑Kafka消费丢数据。
若集群已启用Kerberos认证(安全模式),需先执行以下命令再连接Doris数据库: export LIBMYSQL_ENABLE_CLEARTEXT_PLUGIN=1 mysql -u数据库登录用户 -p -PFE查询连接端口 -hDoris FE实例IP地址 执行命令后输入数据库登录用户密码
Hive作为数据仓库类型数据库,其并不能支持所有的JDBC标准API。 例如事务类型的操作:rollback、setAutoCommit等,执行该类操作会产生“Method not supported”的SQLException异常。 父主题: Hive应用开发常见问题
PostgreSQL数据库需要修改预写日志的策略。
输入与输出 输入:需要输出的字段 输出:ClickHouse表 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 数据库名 配置ClickHouse表所在的数据库 string 是 default 表名 配置数据写入ClickHouse对应的表名 string 是