检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
为什么已备份的Hive表无法执行drop操作 问题 为什么已备份的Hive表执行drop操作会失败？ 回答 由于已备份Hive表对应的HDFS目录创建了快照，导致HDFS目录无法删除，造成Hive表删除失败。 Hive表在执行备份操作时，会创建表对应的HDFS数据目录快照。而HD
匹配的支持，此种语法与Hive的动态分区匹配语法行为一致。 配置参数 登录FusionInsight Manager系统，选择“集群 > 服务 > Spark2x > 配置”，单击“全部配置”，搜索以下参数。 参数 说明 默认值 取值范围 spark.sql.sources.pa
FlinkSQL JSON_VALUE函数性能优化 本章节适用于MRS 3.5.0及以后版本。 使用场景 内置JSON_VALUE函数解析一个JSON item的多个字段时，复用上次JSON item的解析结果，提升算子性能。 使用方法 配置Flink作业时，可通过在FlinkServer
配置HBase全局二级索引提升查询效率 HBase全局二级索引介绍 创建HBase全局二级索引 查询HBase全局二级索引信息 修改HBase全局二级索引状态 批量构建HBase全局二级索引数据 检查HBase全局二级索引数据一致性 基于全局二级索引查询HBase表数据 父主题：
配置Spark小文件自动合并 配置场景 小文件自动合并特性开启后，Spark将数据先写入临时目录，再去检测每个分区的平均文件大小是否小于16MB（默认值）。如果发现平均文件大小小于16MB，则认为分区下有小文件，Spark会启动一个Job合并这些小文件，并将合并后的大文件写入到最终的表目录下。
ros认证）不支持对接开源或其他厂商ClickHouse。 参数配置 登录FusionInsight Manager页面，选择“集群 > 服务 > ClickHouse > 配置 > 全部配置 > ClickHouseServer(角色) > 安全”，修改以下参数： 参数 参数说明
需要修改UserSync进程的GC内存默认为“-Xms1G -Xmx1G”，需要根据业务实际情况调整该参数值： 登录到MRS Manager界面，选择“集群 > 服务 > Ranger > 配置 > 全部配置 > UserSync（角色） > 系统”，修改参数“GC_OPTS”值。例如将内存修改为“-Xms2G
rs/1/tenants/{launcher-job的租户id}' 登录到FusionInsight Manager界面，选择“集群 > 服务 > JobGateway> 实例”，滚动重启所有JobServer实例。 待重启完成后，登录Yarn原生界面，观察是否有launcher
配置Spark HA增强高可用 配置多主实例模式 配置Spark多租户模式 配置多主实例与多租户模式切换 父主题： Spark Core企业级能力增强
SHOW_HOODIE_PROPERTIES 命令功能 查看指定hudi表的hoodie.properties文件中的配置。 命令格式 call show_hoodie_properties(table => '[table_name]'); 参数描述 表1 参数描述 参数 描述
配置源数据心跳表实现数据判齐功能 操作场景 心跳和数据判齐功能用于统计CDL同步任务的全链路信息， 包括从数据库管理系统RDBMS到Kafka的数据耗时、从Kafka消费数据写入到Hudi的数据耗时和数据条数等一系列信息，并将其写入到特定的Topic（cdl_snapshot_t
配置HBase本地二级索引提升查询效率 HBase本地二级索引介绍 批量加载HBase数据并生成本地二级索引 使用TableIndexer工具生成HBase本地二级索引 父主题： HBase企业级能力增强
MapReduce大任务的AM调优 操作场景 当运行一个大任务（map总数达到了10万的规模），但是一直没有运行成功。经过查询发现是ApplicationMaster（以下简称AM）反应缓慢，最终超时失败。 此任务的问题是，task数量变多时，AM管理的对象也线性增长，因此就需要
如何开发Flume第三方插件 安装Flume客户端，如安装目录为“/opt/flumeclient”。 将自主研发的代码打成jar包。 建立插件目录布局。 进入“Flume客户端安装目录/fusionInsight-flume-*/plugins.d”路径下，使用以下命令建立目录，可根据实际业务进行命名，无固定名称：
提交作业时系统提示当前用户在Manager不存在如何处理？ 问： 安全集群在提交作业时，未进行IAM用户同步，会出现“当前用户在MRS Manager不存在，请先在IAM给予该用户足够的权限，再在概览页签进行IAM用户同步”的错误提示。 答： 在提交作业之前，用户需要先在集群详情
FlinkSQL DWS表开发规则 提前在DWS中创建表 若开发FlinkSQL DWS表作业，需要在DWS中创建数据表。 由于Flink作业在DWS中找不到对应表会报错，所以需要提前在DWS中创建好用于接收数据的空表。 父主题： FlinkSQL Connector开发规范
FlinkSQL DWS表开发建议 FlinkSQL DWS表开发建议 开发FlinkSQL DWS作业，DWS可以作为源表、结果表和维表。 开发FlinkSQL DWS表请参考Flink SQL概述。 父主题： FlinkSQL Connector开发规范
FlinkSQL JDBC表开发规则 提前在对应数据库中创建表 JDBC作为sink表时，需要提前在对应数据库（如MySQL）中创建好用于接收数据的空表。 JDBC作为维表时，需要提前在对应数据库（如MySQL）中创建好维度表。 父主题： FlinkSQL Connector开发规范
FlinkSQL JDBC表开发建议 Flink SQL与JDBC数据类型对应关系 参考表1开发Flink SQL作业。 表1 Flink SQL与JDBC数据类型对应关系 Flink SQL数据类型 MySQL数据类型 Oracle数据类型 PostgreSQL数据类型 SQL
err.log ClickHouseServer服务运行错误日志文件路径。 /var/log/Bigdata/clickhouse/clickhouseServer/checkService.log ClickHouseServer服务运行关键日志文件路径。 /var/log/Bi
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
