检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
CREATE TABLE As SELECT 命令功能 CREATE TABLE As SELECT命令通过指定带有表属性的字段列表来创建CarbonData Table。 命令格式 CREATE TABLE [IF NOT EXISTS] [db_name.]table_name
使用Spark2x(MRS 3.x及之后版本) Spark用户权限管理 Spark客户端使用实践 配置Spark读取HBase表数据 配置Spark任务不获取HBase Token信息 Spark Core企业级能力增强 Spark SQL企业级能力增强 Spark Streaming企业级能力增强
HDFS用户可在其他用户目录下创建或删除文件 问题现象 在使用MRS服务时,某个用户可以在其他用户的HDFS目录下面删除或者创建文件。 原因分析 客户配置的用户具有ficommon组的权限,所以可以对HDFS任意操作。需要移除用户的ficommon组权限。 处理步骤 以root用户登录集群的Master节点。
Hudi Cleaning操作说明 Cleaning用于清理不再需要的版本数据。 Hudi使用Cleaner后台作业,不断清除不需要的旧版本数据。通过配置hoodie.cleaner.policy和hoodie.cleaner.commits.retained可以使用不同的清理策略和保存的commit数量。
Hudi Compaction操作说明 Compaction用于合并mor表Base和Log文件。 对于Merge-On-Read表,数据使用列式Parquet文件和行式Avro文件存储,更新被记录到增量文件,然后进行同步/异步compaction生成新版本的列式文件。Merge
DROP删除表 本章节主要介绍ClickHouse删除表的SQL基本语法和使用说明。 基本语法 DROP [TEMPORARY] TABLE [IF EXISTS] [database_name.]name [ON CLUSTER cluster] [SYNC] 使用示例 --删除表t1
IoTDB支持的数据类型和编码 IoTDB支持如下几种数据类型和编码方式,参见表1。 表1 IoTDB支持的数据类型和编码 类型 说明 支持的编码 BOOLEAN 布尔值 PLAIN、RLE INT32 整型 PLAIN、RLE、TS_2DIFF、GORILLA、FREQ、ZIGZAG
上传MySQL数据库连接驱动 操作场景 Loader作为批量数据导出的组件,可以通过关系型数据库导入、导出数据。在连接关系型数据库前,需提前手动上传驱动。 操作步骤 修改关系型数据库对应的驱动jar包文件权限。 登录Loader服务的主备管理节点,获取关系型数据库对应的驱动jar
通过Windows系统提交MapReduce任务 配置场景 用户将MapReduce任务从Windows上提交到Linux上运行,则“mapreduce.app-submission.cross-platform”参数值需配置为“true”。若集群无此参数,或参数值为“false
Join-To-Live Flink双流Join需要将数据存储在状态后端,目前普遍使用Rocksdb作为状态后端。在TTL过大或无法确定TTL或数据流量增加的场景下,大流量会导致状态数据增加,增加存储压力,从而导致作业稳定性下降,或TTL过期可能出现数据关联不准确。 对于数据关联
Doris冷热分离 Doris冷热分离介绍 配置Doris冷热分离 父主题: Doris企业级能力增强
--port 9000 查询是否有与告警表相关的正在执行的任务: 查询是否有执行中的sql任务: select * from system.processes where current_database='库名' and query like '%表名%' 查询是否有正在执行的mutation任务:
根据故障信息中的HostName登录到集群节点,在presto客户端根据附加信息中的Reource Group查询排队数。 根据故障信息中的HostName登录到集群节点,查看/var/log/Bigdata/nodeagent/monitorlog/monitor.log日志,搜索Resource
XXX,C3=取值范围”。 针对添加了二级索引的用户表,可以通过Filter来查询数据,在单列索引和复合列索引上进行过滤查询,查询结果都与无索引结果相同,且其数据查询性能高于无二级索引用户表的数据查询性能。 代码样例 下面代码片段在com.huawei.hadoop.hbase.
XXX,C3=取值范围”。 针对添加了二级索引的用户表,可以通过Filter来查询数据,在单列索引和复合列索引上进行过滤查询,查询结果都与无索引结果相同,且其数据查询性能高于无二级索引用户表的数据查询性能。 代码样例 下面代码片段在com.huawei.hadoop.hbase.
XXX,C3=取值范围”。 针对添加了二级索引的用户表,可以通过Filter来查询数据,在单列索引和复合列索引上进行过滤查询,查询结果都与无索引结果相同,且其数据查询性能高于无二级索引用户表的数据查询性能。 代码样例 下面代码片段在com.huawei.hadoop.hbase.
强制删除主机后,该主机又上电恢复,进程被重新启动。 处理步骤 登录FusionInsight Manager页面,选择“运维 > 告警 > 告警”,查看该告警的详细信息,在附加信息中查看发生该告警的主机IP。 停止上报告警的主机上的DataNode进程。 如果附加信息中发生该告警的主机IP有多个,每次只能停
Manager界面,在“集群 > 服务 > ZooKeeper > 实例”界面中查询,多个地址可用“,”分隔。ZooKeeper客户端连接端口可通过ZooKeeper服务配置参数“clientPort”查询,例如端口号为2181。 例如执行以下命令: kafka-topics.sh --create
Manager界面,在“集群 > 服务 > ZooKeeper > 实例”界面中查询,多个地址可用“,”分隔。ZooKeeper客户端连接端口可通过ZooKeeper服务配置参数“clientPort”查询,例如端口号为2181。 例如执行以下命令: kafka-topics.sh --create
使用Spark执行Hudi样例程序(Java) 下面代码片段仅为演示,具体代码参见:com.huawei.bigdata.hudi.examples.HoodieWriteClientExample。 创建客户端对象来操作Hudi: String tablePath = args[0];