检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置Hive表分区动态覆盖 配置场景 在旧版本中，使用insert overwrite语法覆写分区表时，只支持对指定的分区表达式进行匹配，未指定表达式的分区将被全部删除。在spark2.3版本中，增加了对未指定表达式的分区动态匹配的支持，此种语法与Hive的动态分区匹配语法行为一致。
使用MySQL客户端连接Doris Doris支持MySQL协议，所以大部分支持MySQL协议的客户端都可以访问Doris，包括命令行或者IDE，例如MariaDB、DBeaver、Navicat for MySQL等。 本操作以安装MySQL 8.0.22客户端连接Doris为例进行演示。
2001 原因分析 Hive中会默认限制最大动态分区数，由“hive.exec.max.dynamic.partitions”参数控制（默认值为1000）。 如果超过此限制，Hive将不会创建新的动态分区。 处理步骤 调整上层业务，将动态分区数控制在“hive.exec.max.dynamic
MRS集群磁盘如何分区的？ MRS集群即发即用，不需用户自行规划磁盘分区。集群节点创建成功后，节点的操作系统磁盘分区说明如表1所示。 表1 MRS集群节点OS盘分区说明 分区类型 分区目录 容量 用途 OS分区 / 220GB 操作系统根分区目录和程序存放目录，包括了所有目录（除去下面指定的目录）。
Hive分区数过多导致删除表失败 问题现象 Hive创建的二级分区表有两万多个分区，导致用户在执行truncate table ${TableName},drop table ${TableName}时失败。 原因分析 删除文件操作是单线程串行执行的，Hive分区数过多导致在元数
使用MySQL客户端连接Doris数据库时，在命令中新增“connect_timeout”参数，默认值为10秒，命令如下： mysql -u数据库登录用户 -p数据库登录用户密码 -P数据库连接端口 -hDoris FE实例IP地址 --connect_timeout=120 父主题： Doris常见问题
配置Hive分区元数据冷热存储 分区元数据冷热存储介绍 为了减轻元数据库压力，将长时间未使用过的指定范围的分区相关元数据移动到备份表，这一过程称为分区数据冻结，移动的分区数据称为冷分区，未冻结的分区称为热分区，存在冷分区的表称为冻结表。将被冻结的数据重新移回原元数据表，这一过程称为分区数据解冻。
producer_partition_by 否 分区策略，用来确保相同一类的数据写入到kafka同一分区 database：使用数据库名称做分区，保证同一个数据库的事件写入到kafka同一个分区中 table：使用表名称做分区，保证同一个表的事件写入到kafka同一个分区中 database
已准备源集群，例如，MySQL服务端集群。 Doris集群与MySQL服务端集群网络互通。 已安装MySQL客户端，相关操作可参考使用MySQL客户端连接Doris。 通过JDBC Catalog查询MySQL/Doris数据 进入MySQL官网（https://www.mysql.com/），选择“DOWNLOADS
producer_partition_by 否 分区策略，用来确保相同一类的数据写入到kafka同一分区 database：使用数据库名称做分区，保证同一个数据库的事件写入到kafka同一个分区中 table：使用表名称做分区，保证同一个表的事件写入到kafka同一个分区中 database
使用MySQL客户端连接Doris数据库时报错“plugin not enabled”如何处理 问题现象 使用MySQL客户端连接Doris数据库时报错： ERROR 2059 (HY000): Authentication plugin 'mysql_clear_password'
产生告警的挂载目录名。 设备分区名 产生告警的设备分区名。 对系统的影响 数据丢失：设备分区丢失，可能导致客户保存在这个分区上的数据丢失。 系统崩溃：如果丢失的是系统盘可能导致客户此节点系统运行异常，严重时导致系统崩溃无法正常开机运行。 业务失败：如果丢失的设备分区上会进行组件的业务读写
Hive分区修剪的谓词下推增强 配置场景 在旧版本中，对Hive表的分区修剪的谓词下推，只支持列名与整数或者字符串的比较表达式的下推，在2.3版本中，增加了对null、in、and、or表达式的下推支持。 配置参数 登录FusionInsight Manager系统，选择“集群 >
语句中添加--columns绑定对应字段。 sqoop export --connect jdbc:mysql://数据库IP地址:端口号/数据库名 --username 数据库用户名 --password 密码 --table 表名 --columns 列字段（多个列用英文逗号分开）
from '/tmp/export'; 导出表/分区数据时，存放表/分区数据的HDFS路径需提前创建，且该目录为空，否则导出失败。 导出分区时，导出的表必须为分区表，且不支持导出同一个分区字段的多个分区值的数据；导入到表中分区时导入的表必须是分区表。 导入数据时需注意： 使用import
初始化存量表的分区 命令功能 计算每个历史分区的最后修改时间，以“lastUpdateTime=最后修改时间”的格式将每个分区的最后修改时间写入每个分区下的“.hoodie_partition_metadata”文件中。TTL会依据“当前系统时间 - 分区最后修改时间”来判断每个分区是否老化。
Sqoop读取MySQL数据到HBase时报HBaseAdmin.<init>方法找不到异常 问题 使用MRS的Sqoop客户端（1.4.7版本），从MySQL数据库中指定表抽取数据，存放到HBase（2.2.3版本）指定的表中，报出异常： Trying to load data
经测试证明：10240个Task，2000个分区，在执行HDFS文件从临时目录rename到目标目录动作前，FileStatus元数据大小约29G。为避免以上问题，可修改SQL语句对数据进行重分区，以减少HDFS文件个数。 操作步骤 在动态分区语句中加入distribute by，by值为分区字段。 示例如下：
经测试证明：10240个Task，2000个分区，在执行HDFS文件从临时目录rename到目标目录动作前，FileStatus元数据大小约29G。为避免以上问题，可修改SQL语句对数据进行重分区，以减少HDFS文件个数。 操作步骤 在动态分区语句中加入distribute by，by值为分区字段。 示例如下：
建表语句分区列为timestamp时，使用非标准格式的时间指定分区查询表统计失败 问题 建表语句分区列为timestamp时，使用非标准格式的时间指定分区查询表统计失败以及show partitions table结果编码不对。 执行desc formatted test_hiv
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
