检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Spark SQL在不同DB都可以显示临时表 问题 切换数据库之后，为什么还能看到之前数据库的临时表？ 创建一个DataSource的临时表，例如以下建表语句。 create temporary table ds_parquet using org.apache.spark.sql
<DEFAULT_PARTITION> 查看MapReduce日志获取应用运行情况。 您可以查看MapReduce日志了解应用运行情况，并根据日志信息调整应用程序。 父主题： 调测MapReduce应用
优化HDFS NameNode RPC的服务质量 配置场景 本章节适用于MRS 3.x及后续版本。 数个成品Hadoop集群由于NameNode超负荷运行并失去响应而发生故障。 这种阻塞现象是由于Hadoop的初始设计造成的。在Hadoop中，NameNode作为单独的机器，在其
gaussdb-mysql：云数据库GaussDB(for MySQL) 默认取值： 不涉及 source_info 是 String 参数解释： 数据源信息，为json格式。 约束限制： 不涉及 取值范围： 不涉及 默认取值： 不涉及 响应参数 状态码： 200 表4 响应Body参数 参数 参数类型
MapReduce与其他组件的关系 MapReduce和HDFS的关系 HDFS是Hadoop分布式文件系统，具有高容错和高吞吐量的特性，可以部署在价格低廉的硬件上，存储应用程序的数据，适合有超大数据集的应用程序。 MapReduce是一种编程模型，用于大数据集（大于1TB）的并
jdbc驱动程序“mysql-connector-java-5.1.21.jar”，具体MySQL jdbc驱动程序选择参见下表。 表1 版本信息 jdbc驱动程序版本 MySQL版本 Connector/J 5.1 MySQL 4.1、MySQL 5.0、MySQL 5.1、MySQL
的服务类型自动选择可以缩容的节点。 Core节点在缩容的时候，会对原节点上的数据进行迁移。业务上如果对数据位置做了缓存，客户端自动刷新位置信息可能会影响时延。缩容节点可能会影响部分HBase on HDFS数据的第一次访问响应时长，可以重启HBase或者对相关的表执行Disable/Enable操作来避免。
配置DataNode节点容量不一致时的副本放置策略 操作场景 默认情况下，NameNode会随机选择DataNode节点写文件。当集群内某些数据节点的磁盘容量不一致（某些节点的磁盘总容量大，某些总容量小），会导致磁盘总容量小的节点先写满。通过修改集群默认的DataNode写数据时
在任务列表指定任务的“操作”列，选择“更多 > 查询历史”或单击“查询历史”，打开备份恢复任务运行记录。 在弹出的窗口中，在指定一次执行记录前单击，打开此次任务运行的日志信息。 还可在任务列表指定任务的“操作”列，执行表1中的更多维护管理操作。 表1 更多维护管理功能 操作入口 说明 “更多 > 即时备份”或“执行”
查看文件和目录 默认显示登录用户的目录及目录中的文件，可查看目录或文件的“名称”、“大小”、“用户”、“组”、“权限”和“日期”信息。 单击文件名，可查看文本文件的文本信息或二进制数据。支持编辑文件内容。 如果文件和目录数量比较多，可以在搜索框输入关键字，搜索特定的文件或目录。 创建文件或目录
IDEA运行结果查看应用程序运行情况。 通过Doris日志获取应用程序运行情况。 各样例程序运行结果如下： “doris-jdbc-example”样例运行成功后，显示信息如下： 2023-08-17 23:13:13,473 | INFO | main | Start execute doris example
安装补丁 安装补丁 登录MRS管理控制台。 选择“现有集群”，选中一集群并单击集群名，进入集群基本信息页面。 进入“补丁管理”页面，在操作列表中单击“安装”。 进入“警告”页面，阅读补丁说明，并单击“确定”。 图1 安装补丁 如果任务失败，选择“重试安装”，只有当“状态”显示为“已安装”时，才能进入下一步操作。
安装补丁 安装补丁 登录MRS管理控制台。 选择“现有集群”，选中一集群并单击集群名，进入集群基本信息页面。 进入“补丁管理”页面，在操作列表中单击“安装”。 进入“警告”页面，阅读补丁说明，并单击“确定”。 图1 安装补丁 如果任务失败，选择“重试安装”，只有当“状态”显示为“已安装”时，才能进入下一步操作。
通过该字段配置ORC文件的版本（当Hive表文件的存储格式是ORC时）。 enum 是 0.12 输出分隔符 配置分隔符。 string 是 无 输出字段 配置输出信息： 位置：配置输出字段的位置。 字段名：配置输出字段的字段名。 类型：配置字段类型，字段类型为“DATE”或“TIME”或“TIMESTA
通过该字段配置ORC文件的版本（当SparkSQL表文件的存储格式是ORC时）。 enum 是 0.12 输出分隔符 配置分隔符。 string 是 无 输出字段 配置输出信息： 位置：配置输出字段的位置。 字段名：配置输出字段的字段名。 类型：配置字段类型，字段类型为“DATE”或“TIME”或“TIMESTA
通过该字段配置ORC文件的版本（当Hive表文件的存储格式是ORC时）。 enum 是 0.12 输出分隔符 配置分隔符。 string 是 无 输出字段 配置输出信息： 位置：配置输出字段的位置。 字段名：配置输出字段的字段名。 类型：配置字段类型，字段类型为“DATE”或“TIME”或“TIMESTA
导入并配置Storm样例工程 背景信息 Storm客户端安装程序目录中包含了Storm开发样例工程，将工程导入到IntelliJ IDEA开始样例学习。 前提条件 确保本地PC的时间与集群的时间差要小于5分钟，若无法确定，请联系系统管理员。集群的时间可通过FusionInsight
SDK”为“SDKs”中添加的JDK。 单击“Apply”，单击“OK”。 配置Maven。 参考配置华为开源镜像仓章节描述，增加开源镜像仓地址等配置信息到本地Maven的“setting.xml”配置文件。 修改完成后，在IntelliJ IDEA选择“File > Settings > Build
<Kafka集群IP:21007> --command-config config/client.properties 查看单个Topic详细信息。 bin/kafka-topics.sh --describe --zookeeper <ZooKeeper集群IP:2181/kafka>
对冻结后的分区进行rename时，需要先解冻数据，否则会提示分区不存在。 删除存在冻结数据的表时，被冻结的数据会同步删除。 删除存在冻结数据的分区时，被冻结的分区信息不会被删除，HDFS业务数据也不会被删除。 select查询数据时，会自动添加排查冷分区数据的过滤条件，查询结果将不包含冷分区的数据。 show
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
