正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ALM-50207 FE的MySQL端口连接数与允许最大连接数的比值超过阈值 告警解释 系统每30秒周期性检查MySQL端口连接数,当检测到当前连接数与设置的FE最大端口连接数的比值超出阈值(默认值为95%)时产生该告警。当前集群设置的FE最大端口连接数由参数“qe_max_co
该配置仅用于MySQL专用连接器,当数据列内容中包含默认分隔符时,需要设置自定义分隔符,否则会出现数据错乱。 string 否 \n 输出字段 配置关系型数据库输出字段的相关信息: 字段名:配置输出字段的字段名。 表列名:配置数据库表的列名。 类型:配置字段类型,需要和数据库的字段类型一致。
Hive支持的传统关系型数据库语法说明 概述 Hive支持如下传统关系型数据库语法: Grouping EXCEPT、INTERSECT Grouping 语法简介: 当Group by语句带with rollup/cube选项时,Grouping才有意义。 CUBE生成的结果集显示了所选列中值的所有组合的聚合。
Hive支持的传统关系型数据库语法说明 Hive支持如下传统关系型数据库语法: Grouping EXCEPT、INTERSECT Grouping 语法简介: 当group by语句带with rollup/cube选项时,Grouping才有意义。 CUBE生成的结果集显示了所选列中值的所有组合的聚合。
使用Hive输入use database语句失效 问题 使用Hive的时候,在输入框中输入了use database的语句切换数据库,重新在输入框内输入其他语句,为什么数据库没有切换过去? 回答 在Hue上使用Hive有区别于用Hive客户端使用Hive,Hue界面上有选择数据库的按钮,当前
该配置仅用于MySQL专用连接器,当数据列内容中包含默认分隔符时,需要设置自定义分隔符,否则会出现数据错乱。 string 否 \n 输出字段 配置关系型数据库输出字段的相关信息: 字段名:配置输出字段的字段名。 表列名:配置数据库表的列名。 类型:配置字段类型,需要和数据库的字段类型一致。
使用Hcatalog方式同步Hive和MySQL之间的数据,timestamp和data类型字段会报错 问题 使用Hcatalog方式同步Hive和MySQL之间的数据,timestamp和data类型字段会报错: 回答 调整Sqoop源码包中的代码,将timestamp强制转换类型和Hive保持一致。
使用Hive输入use database语句失效 问题 使用Hive的时候,在输入框中输入了use database的语句切换数据库,重新在输入框内输入其他语句,为什么数据库没有切换过去? 回答 在Hue上使用Hive有区别于用Hive客户端使用Hive,Hue界面上有选择数据库的按钮,当前
命令中如果携带认证密码信息可能存在安全风险,在执行命令前建议关闭系统的history命令记录功能,避免信息泄露。 创建指定数据库只读权限角色,有如下两种方案: 方案一: 创建指定数据库只读权限角色(以default数据库为例,下同): create role ck_role on cluster default_cluster;
优化小文件场景下的Spark SQL性能 配置场景 Spark SQL的表中,经常会存在很多小文件(大小远小于HDFS块大小),每个小文件默认对应Spark中的一个Partition,也就是一个Task。在很多小文件场景下,Spark会起很多Task。当SQL逻辑中存在Shuff
动态分区插入场景内存优化 操作场景 SparkSQL在往动态分区表中插入数据时,分区数越多,单个Task生成的HDFS文件越多,则元数据占用的内存也越多。这就导致程序GC(Gabage Collection)严重,甚至发生OOM(Out of Memory)。 经测试证明:102
优化小文件场景下的Spark SQL性能 配置场景 Spark SQL的表中,经常会存在很多小文件(大小远小于HDFS块大小),每个小文件默认对应Spark中的一个Partition,也就是一个Task。在很多小文件场景下,Spark会起很多Task。当SQL逻辑中存在Shuff
涉及的SQL操作主要包括创建数据库、创建表、插入表数据、查询表数据以及删除表操作。 本代码样例操作流程如下: 使用JDBC连接到Doris。 创建数据库。 在数据库中创建表。 向表中插入数据。 查询表数据。 删除表。 开发思路 Doris兼容MySQL协议,使用SQL语言就可以进行常见的操作。
涉及的SQL操作主要包括创建数据库、创建表、插入表数据、查询表数据以及删除表操作。 本代码样例操作流程如下: 使用JDBC连接到Doris。 创建数据库。 在数据库中创建表。 向表中插入数据。 查询表数据。 删除表。 开发思路 Doris兼容MySQL协议,使用SQL语言就可以进行常见的操作。
og中的任意库表。 DATABASE LEVEL:数据库级权限。被授予的权限适用于指定数据库中的任意表。 TABLE LEVEL:表级权限。被授予的权限适用于指定数据库中的指定表。 RESOURCE LEVEL: 资源级权限。被授予的权限适用于指定资源。 父主题: Doris用户权限管理
命令中如果携带认证密码信息可能存在安全风险,在执行命令前建议关闭系统的history命令记录功能,避免信息泄露。 创建指定数据库只读权限角色,有如下两种方案: 方案一: 创建指定数据库只读权限角色(以default数据库为例,下同): create role ck_role on cluster default_cluster;
方案架构 Hive数据迁移分两部分内容: Hive的元数据信息,存储在MySQL等数据库中。MRS Hive集群的元数据会默认存储到MRS DBService组件,也可以选择RDS(MySQL)作为外置元数据库。 Hive的业务数据,存储在HDFS文件系统或OBS对象存储中。 图1
HBase表启动容灾之后,主集群新建二级索引,索引表变更不会自动同步到备集群。要实现该容灾场景,必须执行以下操作: 在主表创建二级索引之后,需要在备集群使用相同方法创建结构、名称完全相同的二级索引。 在主集群手动将索引列族(默认是d)的REPLICATION_SCOPE设置为1。 配置HBase本地二级索引 登
HQL语句 在左侧选中目标数据库,也可通过单击右上角的,输入目标数据库的名称以搜索目标数据库。 在文本编辑框输入Hive HQL语句,单击或者按“Ctrl+Enter”,运行HQL语句,执行结果将在“结果”页签显示。 分析HQL语句 在左侧选中目标数据库,在文本编辑框输入Hive
select count(distinct did_int) from dws_wallesst_xxx_mlb_ds; 执行耗时:34秒。 高基数(大于10W)字段(int类型),使用bitmap做精确去重。 【countDistinct做精确去重】 select count(distinct