正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
datasource.query.type","read_optimized") .load("tablePath") 对查询性能有要求,但是可以接受一定时间的数据时延。 对于mor表来说,这种读方式性能比读实时表快很多。该读取方式不会读log数据,这些log中新增数据compact
-<yyyy-mm-dd_hh-mm-ss>.[编号].log.zip”。默认最多保留最近的20个压缩文件,压缩文件保留个数和压缩文件阈值可以配置。 表1 Kafka日志列表 日志类型 日志文件名 描述 运行日志 server.log Broker进程的server运行日志。 controller
servers Kafka的bootstrap地址端口列表,默认值为Kafka集群中所有的Kafka列表。如果集群安装有Kafka并且配置已经同步,可以不配置此项。 192.168.101.10:9092 batchSize Flume一次发送的事件个数(数据条数)。 61200 hdfs
在Map阶段,有一个可选过程,将同一个key值的中间结果合并,叫做Combiner。一般将reduce类设置为Combiner即可。通过Combiner,一般情况下可以显著减少Map输出的中间结果,从而减少shuffle过程的网络带宽占用。可通过如下接口为一个任务设置Combiner类。 表2 Combiner设置接口
在Map阶段,有一个可选过程,将同一个key值的中间结果合并,叫做Combiner。一般将reduce类设置为Combiner即可。通过Combiner,一般情况下可以显著减少Map输出的中间结果,从而减少shuffle过程的网络带宽占用。可通过如下接口为一个任务设置Combiner类。 表2 Combiner设置接口
(TID 208574) in 15088 ms on 10-196-115-6 (59515/153378) 因此,处理这类网络超时任务,可以减少单个Executor的核数来规避该类问题。 父主题: Spark Core
<原有日志名>.<yyyy-mm-dd_hh-mm-ss>.[编号].log.zip”。默认最多保留最近的20个压缩文件,压缩文件保留个数可以在Manager界面中配置。 表1 日志介绍 日志类型 日志文件 日志描述 运行日志 connect.log CDLConnector的运行日志。
密码由FusionInsight Manager统一控制,参考准备MRS应用开发用户,确保该用户具有操作IoTDB服务的角色权限。 本端域可以在Manager界面,选择“系统 > 域与互信 > 本端域 ”中查看。 package com.huawei.bigdata.iotdb;
在弹出的提示框中单击“知道了”,开始授权。界面提示“授权成功。”,单击“完成”,委托成功创建。 为MRS集群配置委托 配置存算分离支持在新建集群中配置委托实现,也可以通过为已有集群绑定委托实现。本示例以为已有集群配置委托为例介绍。 登录MRS控制台,在导航栏选择“现有集群”。 单击集群名称,进入集群详情页面。
备FlinkServer的配置文件没有更新,主备倒换之后,部分配置可能会丢失,会对FlinkServer的部分作业以及配置连接产生影响,但FlinkServer可以正常提供服务。 可能原因 主备FlinkServer节点间链路中断。 同步文件不存在,或者文件权限有误。 处理步骤 检查主备FlinkServer服务器间的网络是否正常。
参数“advertised.broker.id.port.map”与参数“actual.broker.id.port.map”中的“Port”可以配置为相同端口。 父主题: Kafka企业级能力增强
Type drs-oracle-json Description thirdparty-kafka Link thirdparty-kafka也可以使用MRS Kafka作为源端,如果使用用户名(Username)密码(Password)进行登录认证,则需先登录Manager界面,选择“集群
“<原有日志名>-<yyyy-mm-dd_hh-mm-ss>.[编号].log.zip”。最多保留最近的100个压缩文件,压缩文件保留个数可以在参数配置界面中配置。 在MapReduce服务中,JobhistoryServer会定时去清理HDFS上存储的旧的日志文件(默认目录为H
“<原有日志名>-<yyyy-mm-dd_hh-mm-ss>.[编号].log.zip”。最多保留最近的100个压缩文件,压缩文件保留个数可以在Manager界面中配置。 日志归档规则: 表1 Yarn日志列表 日志类型 日志文件名 描述 运行日志 hadoop-<SSH_USE
servers Kafka的bootstrap地址端口列表,默认值为Kafka集群中所有的Kafka列表。如果集群安装有Kafka并且配置已经同步,可以不配置此项。 192.168.101.10:9092 batchSize Flume一次发送的事件个数(数据条数)。 61200 hdfs
(TID 208574) in 15088 ms on 10-196-115-6 (59515/153378) 因此,处理这类网络超时任务,可以减少单个Executor的核数来规避该类问题。 父主题: Spark Core
默认配置HDFS作为交换区,将exchange中间数据落盘,如果查询任务失败,将重试失败的task。建议在执行大批量查询时使用此策略,集群可以更高效的重试查询中的小颗粒任务,而不是整个查询。 本示例介绍设置“TASK”重试策略容错执行机制。 使用HetuEngine查询容错执行能力须知
集群中每个DataNode实例平均保存的Blocks= HDFS Block * 3 ÷ DataNode节点数。 HDFS Block:可以登录FusionInsight Manager,选择“集群 > 服务 > HDFS”,单击“NameNode Web UI”后的“Name
打开IntelliJ IDEA,在“Quick Start”页面选择“Open or Import”。 另外,针对已使用过的IDEA工具,可以从主界面选择“File > Import project...”导入样例工程。 图6 Open or Import(Quick Start页面)
DstreamKafkaWriter。 建议使用新的API createDirectStream代替原有API createStream进行应用程序开发。原有API仍然可以使用,但新的API性能和稳定性更好。 该样例代码只存在于mrs-sample-project-1.6.0.zip中。 /** * 参数解析: