检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
参数说明 参数名称 说明 是否必须配置 topic 表示Kafka主题名。 是 bootstrap.server 表示broker集群ip/port列表。 是 security.protocol 运行参数可以配置为PLAINTEXT(可不配置)/SASL_PLAINTEXT/SSL/
"localhost"; port = params.getInt("port"); } catch (Exception e) { System.err.println("No port specified. Please run
在文件中搜索21201,并删除文件中的如下内容。proxy_ip和proxy_port对应实际环境中的值。 ProxyHTMLEnable On SetEnv PROXY_PREFIX=https://[proxy_ip]:[proxy_port] ProxyHTMLURLMap (https?:\/\/[^:]*:[0-9]*
writeToSocket(hostname: String, port: Integer, schema: SerializationSchema[T]): DataStreamSink[T] 数据输出写入到Socket连接中。 hostName为主机名称。 port为端口。 def addSink(sinkFunction:
writeToSocket(hostname: String, port: Integer, schema: SerializationSchema[T]): DataStreamSink[T] 数据输出写入到Socket连接中。 hostName为主机名称。 port为端口。 def addSink(sinkFunction:
writeToSocket(hostname: String, port: Integer, schema: SerializationSchema[T]): DataStreamSink[T] 数据输出写入到Socket连接中。 hostName为主机名称。 port为端口。 def addSink(sinkFunction:
参数说明 参数名称 说明 是否必须配置 topic 表示Kafka主题名。 是 bootstrap.server 表示broker集群ip/port列表。 是 security.protocol 运行参数可以配置为PLAINTEXT(可不配置)/SASL_PLAINTEXT/SSL/
参数说明 url jdbc:XXX://HSBroker1_IP:HSBroker1_Port,HSBroker2_IP:HSBroker2_Port,HSBroker3_IP:HSBroker3_Port/catalog/schema?serviceDiscoveryMode=hsbroker
242:9093"],"rack":"/default/rack0","jmx_port":21006,"host":"192.168.2.242","timestamp":"1580886124398","port":9092,"version":4} [zk: node-master
参数说明 参数名称 说明 是否必须配置 topic 表示Kafka主题名。 是 bootstrap.server 表示broker集群ip/port列表。 是 security.protocol 运行参数可以配置为PLAINTEXT(可不配置)/SASL_PLAINTEXT/SSL/
me: String, port: Int, storageLevel: StorageLevel = StorageLevel.MEMORY_AND_DISK_SER_2): ReceiverInputDStream[String] 从TCP源主机:端口创建一个输入流。 start():Unit
String> socketStream(java.lang.String hostname,int port) 创建一个输入流,通过TCP socket从对应的hostname和端口接收数据。接受的字节被解析为UTF8格式。默认的存储级别为Memory+Disk。 JavaDStream<java
me: String, port: Int, storageLevel: StorageLevel = StorageLevel.MEMORY_AND_DISK_SER_2): ReceiverInputDStream[String] 从TCP源主机:端口创建一个输入流。 start():Unit
“缩容类型”选择“指定数量缩容”。 设置“缩容节点数量”,并单击“确定”。 缩容集群前需要检查集群安全组是否配置正确,要确保集群入方向安全组规则中有一条全部协议,全部端口,源地址为可信任的IP访问范围的规则。 若HDFS存在损坏的数据块,则缩容集群可能出现失败,请联系华为云支持人员处理。 页面右上角弹出缩容节点提交成功提示框。
名称:连接属性名 值:连接属性值 sftp-connector Sftp服务器的IP SFTP服务器的IP地址。 Sftp服务器端口 SFTP服务器的端口号。 Sftp用户名 访问SFTP服务器的用户名。 Sftp密码 访问SFTP服务器的密码。 Sftp公钥 Sftp服务器公钥。
me: String, port: Int, storageLevel: StorageLevel = StorageLevel.MEMORY_AND_DISK_SER_2): ReceiverInputDStream[String] 从TCP源主机:端口创建一个输入流。 start():Unit
String> socketStream(java.lang.String hostname,int port) 创建一个输入流,通过TCP socket从对应的hostname和端口接受数据。接受的字节被解析为UTF8格式。默认的存储级别为Memory+Disk。 JavaDStream<java
me: String, port: Int, storageLevel: StorageLevel = StorageLevel.MEMORY_AND_DISK_SER_2): ReceiverInputDStream[String] 从TCP源主机:端口创建一个输入流。 start():Unit
<kafkaService> <kafkaDomain>,其中<kafkaBootstrapServers>指获取元数据的Kafka地址(需使用21007端口),<maxEventDelay>指数据从生成到被流处理引擎的最大延迟时间,<reqTopic>指请求事件的topic名称,<showTo
样例工程中的data文件需要放到HDFS上的home目录下 保证data文件和创建的表的所属的用户和用户组保持一致 拼接JDBC URL。 HA模式下url的host和port必须为“ha-cluster”。 普通集群需要将样例代码中com.huawei.bigdata.spark.examples.Thrif