检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
values) 测试insertRecord,不实际写入数据,只将数据传输到server即返回。 void testInsertTablet(Tablet tablet) 测试insertTablet,不实际写入数据,只将数据传输到server即返回。 父主题: IoTDB开发指南(安全模式)
密。数据传输加解密对性能影响较大,经过测试发现具有200%的性能差异,因此建议性能测试时关闭SSL加密。ConfigNode和IoTDBServer两个角色同名参数都要修改。 iotdb_server_kerberos_qop 集群内各个IoTDBServer实例数据传输加密,仅
示: 回答 造成该现象的原因是NodeManager重启。使用ExternalShuffle的时候,Spark将借用NodeManager传输Shuffle数据,因此NodeManager的内存将成为瓶颈。 在当前版本的FusionInsight中,NodeManager的默认内
security.protocol 运行参数可以配置为PLAINTEXT(可不配置)/SASL_PLAINTEXT/SSL/SASL_SSL四种协议,分别对应FusionInsight Kafka集群的21005/21007/21008/21009端口。 如果配置了SASL,则必须配置sasl
可能原因 HDFS DataNode实例磁盘IO速率低、HDFS DataNode自身处理能力到达瓶颈。 HDFS各DataNode实例之间网络传输速率低。 处理步骤 检查是否DataNode实例磁盘IO速率低。 登录FusionInsight Manager界面,选择“运维 > 告警
查看设置的spoolDir监控目录,是否所有的文件均已传输完毕。 是,处理完毕。 否,执行5。 spoolDir的监控目录为用户自定义配置文件properties.properties中.spoolDir的参数值。若监控目录文件已传输完毕,则该监控目录下的所有文件以.COMPLETED后缀结尾。
这些偏移量信息也被可靠地存储在checkpoint文件中,应用失败重启时可以直接读取偏移量信息。 图4 Direct Kafka接口数据传输 需要注意的是,Spark Streaming可以在失败后重新从Kafka中读取并处理数据段。然而,由于语义仅被处理一次,重新处理的结果和没有失败处理的结果是一致的。
user.keytab路径写错。 user.principal写错。 集群做过切换域名操作但客户端拼接url时使用旧的principal。 有防火墙相关设置,导致客户端本身无法通过kerberos认证,Kerberos需要开放的端口有21730(TCP)、21731(TCP/UDP)、21732(TCP/UDP)。
TABLE创建一个具有指定列的、新的空表。使用CREATE TABLE AS创建带数据的表。 使用可选参数IF NOT EXISTS,如果表已经存在则不会报错。 WITH子句可用于在新创建的表或单列上设置属性,如表的存储位置(location)、是不是外表(external)等。 LIKE子句用
一般为4MB,表示netty的发送和接收的缓冲区大小。 “taskmanager.network.netty.transport”:默认为“nio”方式,表示netty的传输方式,有“nio”和“epoll”两种方式。 父主题: Flink性能调优
security.protocol 运行参数可以配置为PLAINTEXT(可不配置)/SASL_PLAINTEXT/SSL/SASL_SSL四种协议,分别对应FusionInsight Kafka集群的21005/21007/21008/21009端口。 如果配置了SASL,则必须配置sasl
一般为4MB,表示netty的发送和接收的缓冲区大小。 “taskmanager.network.netty.transport”:默认为“nio”方式,表示netty的传输方式,有“nio”和“epoll”两种方式。 父主题: Flink性能调优
Flume-NG由多个Agent来组成,而每个Agent由Source、Channel、Sink三个模块组成,其中Source负责接收数据,Channel负责数据的传输,Sink则负责数据向下一端的发送。 图1 Flume-NG架构 表1 模块说明 名称 说明 Source Source负责接收数据或通过
这些偏移量信息也被可靠地存储在checkpoint文件中,应用失败重启时可以直接读取偏移量信息。 图4 Direct Kafka接口数据传输 需要注意的是,Spark Streaming可以在失败后重新从Kafka中读取并处理数据段。然而,由于语义仅被处理一次,重新处理的结果和没有失败处理的结果是一致的。
channel.ChannelException: Failed to bind to: /192.168.205.7:21154 若采用了加密传输,证书或密码错误。 2016-08-31 17:15:59,593 | ERROR | [conf-file-poller-0] | Source
间是一种紧耦合的关系,当需求更改时,需要重新规划整个流图。 拆分成多个作业目前还存在问题。 通常情况下,作业之间可以通过Kafka实现数据传输,如作业A可以将数据发送到Kafka的Topic A下,然后作业B和作业C可以从Topic A下读取数据。该方案简单易行,但是延迟一般大于100ms。
value>对。执行过程中都会涉及到RDD的partition重排,这个操作称为shuffle。 由于shuffle类算子存在节点之间的网络传输,因此对于数据量很大的RDD,应该尽量提取需要使用的信息,减小其单条数据的大小,然后再调用shuffle类算子。 常用的有如下几种: combineByKey()
表4 输出设置参数 参数名 说明 示例 架构名称 数据库模式名。 dbo 表名 数据库表名,用于最终保存传输的数据。 test 临时表名 数据库临时表名用于临时保存传输过程中的数据,字段需要和“表名”配置的表一致。 db_test 数据库类型 数据库类型,分为MOT和其他可用JDBC连接的数据库。
表4 主机详情 展示项 说明 基本信息区 主机详情页面的基本信息包含该主机的各个关键信息,例如管理IP地址、业务IP地址、主机类型、机架、防火墙、CPU核数、操作系统等信息。 磁盘状态区 磁盘状态区包含了该主机所有为集群配置的磁盘分区,并显示每个磁盘分区的使用情况。 实例列表区 实
启用集群间复制功能需要重启Yarn,服务重启期间无法访问。 前提条件 两个集群HDFS的参数“hadoop.rpc.protection”需使用相同的数据传输方式。设置为“privacy”表示加密,“authentication”表示不加密。 可登录FusionInsight Manager界面,选择“集群