检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Flink流式写Hudi表建议 使用SparkSQL统一建表。 推荐使用Spark异步任务对Hudi表进行Compaction。 表名必须以字母或下划线开头,不能以数字开头。 表名只能包含字母、数字、下划线。 表名长度不能超过128个字符。 表名中不能包含空格和特殊字符,如冒号、分号、斜杠等。
DROP删除表 本章节主要介绍ClickHouse删除表的SQL基本语法和使用说明。 基本语法 DROP [TEMPORARY] TABLE [IF EXISTS] [database_name.]name [ON CLUSTER cluster] [SYNC] 使用示例 --删除表t1
ht Manager页面,选择“集群 > 服务 > Zookeeper > 实例”,即可查看Zookeeper实例节点IP。 Zookeeper Client的端口:在FusionInsight Manager页面,选择“集群 > 服务 > Zookeeper > 配置> 全部配
chmod 600 jar包文件名 登录FusionInsight Manager系统,选择“集群 > 服务 > Loader > 更多 > 重启服务”输入管理员密码重启Loader服务。 父主题: 使用Loader
通过Windows系统提交MapReduce任务 配置场景 用户将MapReduce任务从Windows上提交到Linux上运行,则“mapreduce.app-submission.cross-platform”参数值需配置为“true”。若集群无此参数,或参数值为“false
CREATE DATABASE 本章节主要介绍Doris创建数据库的SQL基本语法和使用说明。 基本语法 CREATE DATABASE [IF NOT EXISTS] db_name [PROPERTIES ("key"="value", ...)]; 使用示例 使用具有Dor
Manager。 选择“集群 > 概览 > 更多 > 下载客户端”(MRS 3.3.0及之后版本在“主页”选择“下载客户端”),下载完整客户端到服务端指定目录。 具体操作请参考安装MRS集群客户端。 解压新下载的客户端,在解压后的目录找到batch_upgrade目录,例如“/tmp/
DROP删除表 本章节主要介绍ClickHouse删除表的SQL基本语法和使用说明。 基本语法 DROP [TEMPORARY] TABLE [IF EXISTS] [database_name.]name [ON CLUSTER cluster] [SYNC] 使用示例 --删除表t1
启用Kerberos认证的集群,需要提前在Manager中创建业务用户,用户拥有在Kafka主题中执行相应操作的权限。 操作步骤 进入Kafka服务页面: MRS3.x之前版本,单击集群名称,登录集群详情页面,选择“组件管理 > Kafka”。 若集群详情页面没有“组件管理”页签,请先
集群外节点提交Spark作业时报错无法连接Driver 问题现象 集群外节点和集群各个节点网络已经互通,在集群外节点使用client模式提交Spark任务到Yarn上,任务失败,报错信息为无法连接Driver。 原因分析 使用client模式提交Spark任务的时候,Spark的
参考“添加租户”章节新建一个队列给oozie使用,也可以直接使用创建MRS集群时生成的launcher-job队列。 在Manager页面选择“集群 > 服务 > Oozie > 配置”,搜索参数“oozie.site.configs”,在值列添加名称“oozie.launcher.default
导致对应节点上任务失败,但是在Yarn WebUI页面中查看整个任务状态为“succeeded”。 原因分析 Spark AM退出时,因为服务配置参数“spark.streaming.stopGracefullyOnShutdown”默认为“false”,系统不会完全等待AM正常
ZooKeepe地址 选择“服务配置”页签,搜索“clientPort”参数,该参数的值即为ZooKeeper的端口。 方法二:通过Manager界面获取 登录Manager界面。 在Manager界面获取ZooKeeper的IP地址和端口。 针对MRS 3.x之前版本集群 选择“服务管理 > ZooKeeper
购买MRS集群时,找不到ZooKeeper组件如何处理? 问: 购买MRS集群时,为什么找不到ZooKeeper组件? 答: 创建MRS 3.x之前版本集群时,ZooKeeper组件为默认安装的组件,不在创建集群的界面上显示。 集群创建完成后可在集群“组件管理”页签看到ZooKeeper组件。
ClickHouse集群业务规划 集群规模 建议单集群不超过256节点规模。 集群负载 对于不同业务负载的业务,需要分开集群部署,便于不同负载的业务进行资源隔离。 集群并发 由于ClickHouse单个SQL会最大化使用每个主机上的CPU/内存/IO资源,对于复杂SQL查询(复杂
REGISTER INDEX TABLE 命令功能 REGISTER INDEX TABLE命令用于将索引表注册到主表。 命令语法 REGISTER INDEX TABLE indextable_name ON db_name.maintable_name; 参数描述 表1 REFRESH
为什么创建Hive表失败? 问题 为什么创建Hive表失败? 回答 当源表或子查询具有大数据量的Partition时,创建Hive表失败。执行查询需要很多的task,此时输出的文件数就会很多,从而导致driver OOM。 可以在创建Hive表的语句中增加distribute b
CarbonData表操作并发语法说明 DDL和DML中的操作,执行前,需要获取对应的锁,各操作需要获取锁的情况见表1 操作获取锁一览表,√表示需要获取该锁,一个操作仅在获取到所有需要获取的锁后,才能继续执行。 任意两个操作是否可以并发执行,可以通过如下方法确定:表1两行代表两个
Hudi Savepoint操作说明 Savepoint用于保存并还原自定义的版本数据。 Hudi提供的savepoint就可以将不同的commit保存起来以便清理程序不会将其删除,后续可以使用Rollback进行恢复。 使用spark-sql管理savepoint。 示例如下:
通过Windows系统提交MapReduce任务 配置场景 用户将MapReduce任务从Windows上提交到Linux上运行,则“mapreduce.app-submission.cross-platform”参数值需配置为“true”。若集群无此参数,或参数值为“false