检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Sink需要用户根据自己开发的代码来进行配置，下述常用配置不再展示。 常用Source配置 Avro Source Avro Source监测Avro端口，接收外部Avro客户端数据并放入配置的Channel中。常用配置如下表所示： 表1 Avro Source常用配置 参数 默认值 描述 channels
xxx:21005,xxx.xxx.xxx.xxx:21005,xxx.xxx.xxx.xxx:21005 mytopic 10 开发思路 接收Kafka中数据，生成相应DataStreamReader。 进行分类统计。 计算结果，并进行打印。 运行前置操作 安全模式下Spark
xxx:21005,xxx.xxx.xxx.xxx:21005,xxx.xxx.xxx.xxx:21005 mytopic 10 开发思路 接收Kafka中数据，生成相应DataStreamReader。 进行分类统计。 计算结果，并进行打印。 运行前置操作 安全模式下Spark
权限名 允许的操作 示例 java.net.SocketPermission 主机名:端口：指定主机和端口 *：所有地址和端口 accept：接收 listen：侦听 connect：连接 resolve：解析 允许实现所有套接字操作： permission java.net.SocketPermission
开启物化视图能力，提高查询的响应效率 配置HetuEngine物化视图改写能力 配置物化视图推荐能力 自动学习并推荐对业务最有价值的物化视图SQL，使在线查询效率获得倍数提升，同时有效降低系统负载压力 配置HetuEngine物化视图推荐能力 配置物化视图缓存能力 可将多次执行并改写后的SQ
“-l”：可选参数，表示日志目录，默认值为“/var/log/Bigdata”。 “-e”：可选参数，表示Flume实例的业务IP地址，主要用于接收客户端上报的监控指标信息。 “-n”：可选参数，表示自定义的Flume客户端的名称。 IBM的JDK不支持“-Xloggc”，需要修改“flume/conf/flume-env
KafkaWordCountProducer {BrokerList} {Topic} {messagesPerSec} {wordsPerMessage} 开发思路 接收Kafka中数据，生成相应DataStreamReader。 对单词记录进行分类统计。 计算结果，并进行打印。 运行前置操作 安全模式下Spark
}，为每条展示事件随机生成0-5条点击事件，点击事件的时间取值范围为{展示事件时间 至展示事件时间+5m } 开发思路 使用Structured Streaming接收Kafka中数据，生成请求流、展示流、点击流。 对请求流、展示流、点击流的数据进行关联查询。 统计结果写入kafka。 应用中监控流处理任务的状态。
}，为每条展示事件随机生成0-5条点击事件，点击事件的时间取值范围为{展示事件时间 至展示事件时间+5m } 开发思路 使用Structured Streaming接收Kafka中数据，生成请求流、展示流、点击流。 对请求流、展示流、点击流的数据进行关联查询。 统计结果写入kafka。 应用中监控流处理任务的状态。
本地snapshot 将在本地集群中创建的表做一个快照，是一个空快照（刚创建的表没有数据），用于在Backend上产生对应的快照目录，接收从远端仓库下载的快照文件。 下载快照 远端仓库中的快照文件，会被下载到对应的生成的快照目录中，由各个Backend并发完成。 生效快照 快
/dbroker/apache_hdfs_broker.log DBroker进程的运行日志 审计日志 fe.audit.log 审计日志，记录FE接收的所有SQL请求 日志级别 Doris提供了如表2所示的日志级别。 运行日志的级别优先级从高到低分别是FATAL、ERROR、WARN、I
请求拒绝相关参数调整 参数名称 参数描述 调整策略 hbase.ipc.max.request.size RegionServer单个请求最大值，当接收到的请求超过此阈值时，会直接丢弃此请求。默认值为256MB。 当应用侧多次重试失败，RegionServer侧日志中出现“RPC data
KafkaWordCountProducer {BrokerList} {Topic} {messagesPerSec} {wordsPerMessage} 开发思路 接收Kafka中数据，生成相应DataStreamReader。 对单词记录进行分类统计。 计算结果，并进行打印。 运行前置操作 安全模式下Spark
brokers); // 通过brokers和topics直接创建kafka stream // 1.接收Kafka中数据，生成相应DStream JavaDStream<String> lines = KafkaUtils.c
read-process-write模式：将消息消费和生产封装在一个事务中，形成一个原子操作。在一个流式处理的应用中，常常一个服务需要从上游接收消息，然后经过处理后送达到下游，这就对应着消息的消费和生产。 二次开发代码样例如下： // 初始化配置,开启事务特性 Properties
DNS解析时长 TCP临时端口使用率 主机网络数据包帧错误数 网络读信息 主机网络读包数 主机网络读包丢包数 主机网络读包错误数 主机网络接收速率 磁盘 主机磁盘写速率 主机磁盘已使用大小 主机磁盘未使用大小 主机磁盘读速率 主机磁盘使用率 内存 未使用内存 缓存内存大小 内核缓存的内存总量
read-process-write模式：将消息消费和生产封装在一个事务中，形成一个原子操作。在一个流式处理的应用中，常常一个服务需要从上游接收消息，然后经过处理后送达到下游，这就对应着消息的消费和生产。 二次开发代码样例如下： // 初始化配置,开启事务特性 Properties
时间，如“5min”。 查看作业管理界面，作业状态为“运行中”。 参考管理Kafka Topic中的消息，执行以下命令查看Sink表中是否接收到数据，即5执行完成后查看Kafka topic是否正常写入数据。 sh kafka-console-consumer.sh --topic
Sink需要用户根据自己开发的代码来进行配置，下述常用配置不再展示。 常用Source配置 Avro Source Avro Source监测Avro端口，接收外部Avro客户端数据并放入配置的Channel中。常用配置如下表所示： 表7 Avro Source常用配置 参数 默认值 描述 channels
的数据分区范围较大，压缩效率较低。 内存调优 CarbonData为内存调优提供了一个机制，其中数据加载会依赖于查询中需要的列。不论何时，接收到一个查询命令，将会获取到该查询中的列，并确保内存中这些列有数据加载。在该操作期间，如果达到内存的阈值，为了给查询需要的列提供内存空间，最少使用加载级别的文件将会被删除。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
