检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Doris多源数据能力概述 配置Doris对接Hive数据源 配置Doris对接Hudi数据源 配置Spark读写Doris数据 配置Flink读写Doris数据 通过JDBC Catalog对接MySQL/Doris数据源 父主题: Doris企业级能力增强
点下都有自己的znode。它包含每个对等集群的一个znode。 当Regionserver故障时,主集群的每个RegionServer都会通过watcher收到通知,并尝试锁定故障RegionServer的znode,包含它的队列。成功创建的RegionServer会将所有队列转
配置使用分布式缓存执行MapReduce任务 配置MapReduce shuffle address 配置MapReduce集群管理员列表 通过Windows系统提交MapReduce任务 配置MapReduce任务日志归档和清理机制 MapReduce性能调优 MapReduce日志介绍
查看ClickHouse慢查询语句 查看ClickHouse复制表数据同步监控 配置ClickHouse副本间数据强一致 配置ClickHouse支持事务能力 配置通过ELB访问ClickHouse 配置ClickHouse冷热分离 配置ClickHouse对接开源ClickHouse 配置ClickHouse元数据预先缓存到内存
点下都有自己的znode。它包含每个对等集群的一个znode。 当RegionServer故障时,主集群的每个RegionServer都会通过watcher收到通知,并尝试锁定故障RegionServer的znode,包含它的队列。成功创建的RegionServer会将所有队列转
NTEXT、SASL_SSL。 Kafka服务启动时,默认会启动PLAINTEXT和SASL_PLAINTEXT两种协议类型的访问监测。可通过设置Kafka服务配置“ssl.mode.enable”为“true”,来启动SSL和SASL_SSL两种协议类型的访问监测。下表是四种协议类型的简单说明:
服务能力,实现更高水平的应用容错。如图3所示,客户端应用请求集群时,使用ELB(Elastic Load Balance)来进行流量分发,通过ELB的轮询机制,写不同节点上的本地表(Local Table),读不同节点上的分布式表(Distributed Table),这样,无论
开发Spark应用 Spark Core程序 Spark SQL程序 Spark Streaming程序 通过JDBC访问Spark SQL的程序 Spark on HBase程序 从HBase读取数据再写入HBase 从Hive读取数据再写入HBase Streaming从Kafka读取数据再写入HBase
议补丁完成后对于没有单副本诉求时手动修改为“false”后滚动重启HDFS服务,保证HDFS数据的高可靠。对于确定存在单副本诉求的文件也可通过“dfs.single.replication.exclude.pattern”配置项设置单副本的数据文件和目录。 在MRS管理控制台,选择“服务管理
配置MapReduce Job基线 MapReduce Shuffle调优 MapReduce大任务的AM调优 配置MapReduce任务推测执行 通过Slow Start调优MapReduce任务 MapReduce任务commit阶段优化 降低MapReduce客户端运行任务失败率 父主题:
配置MapReduce Job基线 MapReduce Shuffle调优 MapReduce大任务的AM调优 配置MapReduce任务推测执行 通过Slow Start调优MapReduce任务 MapReduce任务commit阶段优化 降低MapReduce客户端运行任务失败率 父主题:
A”字节,但DataNode中的块文件将具有“A + B”字节。 恢复步骤: 从NameNode Web UI中获取已损坏的文件列表,或者通过下面的命令获取。 hdfs fsck <filepath> -list-corruptfileblocks 对于不需要的文件,请使用以下命令删除文件。
建议在业务前期规划建表时预留将来要使用的字段。如果必须添加或删除字段,及修改字段类型和注释,需在业务低峰期,停止相关表的写入和修改业务后,通过重建表方式实现以上操作: 新建一个表,该表结构和需进行增删改字段的表结构相同。在新建表中增加需要添加的新字段、删除不需要的字段、或修改需改变类型的字段。
A”字节,但DataNode中的块文件将具有“A + B”字节。 恢复步骤: 从NameNode Web UI中获取已损坏的文件列表,或者通过下面的命令获取。 hdfs fsck <filepath> -list-corruptfileblocks 对于不需要的文件,请使用以下命令删除文件。
集群均提供鉴权能力,组件的具体权限项在两种模式中相同。 新安装的安全模式集群默认即安装了Ranger服务并启用了Ranger鉴权,用户可以通过组件的权限插件对组件资源的访问设置细粒度的安全访问策略。若不需使用Ranger进行鉴权,管理员可在服务页面手动停用Ranger鉴权,停用R
图对应的查询在每次被其他查询引用该视图时都会被执行。 如果视图已经存在,则可选ORREPLACE子句将导致视图被替换,而不会报错。 示例 通过表orders创建一个视图test: CREATE VIEW test (oderkey comment 'orderId',orderstatus
配置使用分布式缓存执行MapReduce任务 配置MapReduce shuffle address 配置MapReduce集群管理员列表 通过Windows系统提交MapReduce任务 配置MapReduce任务日志归档和清理机制 MapReduce性能调优 MapReduce日志介绍
滚动卸载补丁功能关闭:补丁卸载前会停止所有服务,补丁卸载后再重新启动所有服务来完成补丁卸载,会造成集群和服务暂时中断,但相比滚动方式卸载补丁耗时更短。 仅通过滚动方式安装的补丁支持滚动方式卸载补丁。 单击“是”,卸载目标补丁。 查看补丁卸载进度。 访问集群对应的MRS Manager,详细操作请参见访问MRS集群Manager。
对于计算任务量大的集群,如果不进行合理的配置对日志文件进行定期归档和删除,日志文件将占用HDFS大量内存空间,增加集群负载。 日志归档是通过Hadoop Archives功能实现的,Hadoop Archives启动的并行归档任务数(Map数)与待归档的日志文件总大小有关。计算
NTEXT、SASL_SSL。 Kafka服务启动时,默认会启动PLAINTEXT和SASL_PLAINTEXT两种协议类型的安全认证。可通过设置Kafka服务配置“ssl.mode.enable”为“true”,来启动SSL和SASL_SSL两种协议类型的安全认证。下表是四种协议类型的简单说明: