检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
本地snapshot 将在本地集群中创建的表做一个快照,是一个空快照(刚创建的表没有数据),用于在Backend上产生对应的快照目录,接收从远端仓库下载的快照文件。 下载快照 远端仓库中的快照文件,会被下载到对应的生成的快照目录中,由各个Backend并发完成。 生效快照 快
/dbroker/apache_hdfs_broker.log DBroker进程的运行日志 审计日志 fe.audit.log 审计日志,记录FE接收的所有SQL请求 日志级别 Doris提供了如表2所示的日志级别。 运行日志的级别优先级从高到低分别是FATAL、ERROR、WARN、I
请求拒绝相关参数调整 参数名称 参数描述 调整策略 hbase.ipc.max.request.size RegionServer单个请求最大值,当接收到的请求超过此阈值时,会直接丢弃此请求。默认值为256MB。 当应用侧多次重试失败,RegionServer侧日志中出现“RPC data
brokers); // 通过brokers和topics直接创建kafka stream // 1.接收Kafka中数据,生成相应DStream JavaDStream<String> lines = KafkaUtils.c
link等服务且服务运行正常。 已创建需要配置权限的用户、用户组或Role,且用户已加入hive组。 该特性仅支持在FlinkServer平台使用。 FlinkSQL需要使用default方言。 过滤条件中的字段大小写要与FlinkSQL中字段大小写一致。 该特性不支持Hive视图表。
不匹配同一个子网时,集群会创建失败,请仔细填写参数。当仅填写“subnet_name”一个参数且VPC下存在同名子网时,创建集群时以VPC平台第一个名称的子网为准。推荐使用“subnet_id”。 取值范围: 不涉及 默认取值: 不涉及 components 是 String 参数解释:
唯一确定每条消息在分区内的位置。 Producer/生产者 向Kafka的主题发布消息。 Consumer/消费者 向Topic订阅,并且接收发布到这些Topic的消息。 各模块间关系如图2所示。 图2 Kafka模块间关系 消费者使用一个消费者组名称来标记自己,主题的每个消息被
KafkaWordCountProducer {BrokerList} {Topic} {messagesPerSec} {wordsPerMessage} 开发思路 接收Kafka中数据,生成相应DataStreamReader。 对单词记录进行分类统计。 计算结果,并进行打印。 运行前置操作 安全模式下Spark
3.0及之后版本集群请在“主页”右上方单击“下载客户端”),“选择客户端类型”设置为“完整客户端”,根据待安装客户端节点的节点类型选择正确的平台类型后(x86选择x86_64,ARM选择aarch64)单击“确定”,等待客户端文件包生成后根据浏览器提示下载客户端到本地并解压。 例如
3.0及之后版本集群请在“主页”右上方单击“下载客户端”),“选择客户端类型”设置为“完整客户端”,根据待安装客户端节点的节点类型选择正确的平台类型后(x86选择x86_64,ARM选择aarch64)单击“确定”,等待客户端文件包生成后根据浏览器提示下载客户端到本地并解压。 例如
感知的分析加速效果。HetuEngine管理员通过付出少量的计算资源和存储空间,可实现对高频SQL业务的智能加速。同时,该能力可以降低数据平台的整体负载(CPU、内存、IO等),有助于提升系统稳定性。 智能物化视图包括以下几个功能: 自动推荐物化视图 自动创建物化视图 自动刷新物化视图
Manager页面,选择“集群 > 概览 > 更多 > 下载客户端”,“选择客户端类型”设置为“仅配置文件”,根据待安装客户端节点的节点类型选择正确的平台类型后(x86选择x86_64,ARM选择aarch64)单击“确定”,等待客户端文件包生成后根据浏览器提示下载客户端到本地并解压。 例如
Manager页面,选择“集群 > 概览 > 更多 > 下载客户端”,“选择客户端类型”设置为“完整客户端”,根据待安装客户端节点的节点类型选择正确的平台类型后(x86选择x86_64,ARM选择aarch64)单击“确定”,等待客户端文件包生成后根据浏览器提示下载客户端到本地并解压。 例如
3.0及之后版本集群请在“主页”右上方单击“下载客户端”),“选择客户端类型”设置为“完整客户端”,根据待安装客户端节点的节点类型选择正确的平台类型后(x86选择x86_64,ARM选择aarch64)单击“确定”,等待客户端文件包生成后根据浏览器提示下载客户端到本地并解压。 例如
3.0及之后版本集群请在“主页”右上方单击“下载客户端”),“选择客户端类型”设置为“完整客户端”,根据待安装客户端节点的节点类型选择正确的平台类型后(x86选择x86_64,ARM选择aarch64)单击“确定”,等待客户端文件包生成后根据浏览器提示下载客户端到本地并解压。 例如
产生告警的主机名。 对系统的影响 告警长期存在时,会导致Manager频繁主备倒换,用户无法正常登录FusionInsight Manager平台,无法进行正常运维操作。 httpd进程持续重启,可能引起无法访问服务原生UI界面。 可能原因 httpd进程异常。 处理步骤 检查httpd进程是否异常。
Manager,选择“集群 > 概览 > 更多 > 下载客户端”,“选择客户端类型”设置为“仅配置文件”,根据待安装客户端节点的节点类型选择正确的平台类型后(x86选择x86_64,ARM选择aarch64),单击“确定”,等待客户端文件包生成后根据浏览器提示下载客户端到本地并解压。 例
参与;同时支持用户在集群中运行自定义内容;支持快速创建多应用场景集群,比如创建Hadoop分析集群、HBase集群、Kafka集群。大数据平台同时支持部署异构集群,在集群中存在不同规格的虚机,允许CPU类型,硬盘容量,硬盘类型,内存大小灵活组合。在集群中支持多种虚机规格混合使用。
taskmanager.network.netty.sendReceiveBufferSize: 0 # netty的传输方式,默认方式会根据运行的平台选择合适的方式 taskmanager.network.netty.transport:auto 内存总体调优 Flink内部对内存进行了
Manager页面,选择“集群 > 概览 > 更多 > 下载客户端”,“选择客户端类型”设置为“完整客户端”,根据待安装客户端节点的节点类型选择正确的平台类型后(x86选择x86_64,ARM选择aarch64)单击“确定”,等待客户端文件包生成后根据浏览器提示下载客户端到本地并解压。 例如