检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Manager服务期间会引起服务暂时不可用,滚动重启服务不断服。 MRS 2.1.0.11补丁安装后,需要登录备Master节点(登录MRS Manager,在“主机管理”页面中带有空心五角星的Master节点即为备Master节点)并切换到omm用户执行sh /opt/knox/bin/restart-knox
当前路径下不存在“huawei”目录。 执行图1中的命令创建以“huawei”为名的目录。其中,用1中查找到的主机名或IP和端口分别替代命令中的<HOST>和<PORT>,在<PATH>中输入想要创建的目录“huawei”。 用主机名或IP代替<HOST>都是可以的,要注意HTTP和HTTPS的端口不同。 执行下列命令访问HTTP:
多租户资源管理 特性简介 现代企业的数据集群在向集中化和云化方向发展,企业级大数据集群需要满足: 不同用户在集群上运行不同类型的应用和作业(分析、查询、流处理等),同时存放不同类型和格式的数据。 部分用户(例如银行、政府单位等)对数据安全非常关注,不接受将自己的数据与其他用户放在一起。
当前路径下不存在“huawei”目录。 执行图1中的命令创建以“huawei”为名的目录。其中,用1中查找到的主机名或IP和端口分别替代命令中的<HOST>和<PORT>,在<PATH>中输入想要创建的目录“huawei”。 用主机名或IP代替<HOST>都是可以的,要注意HTTP和HTTPS的端口不同。 执行下列命令访问HTTP:
StorageLevel.MEMORY_AND_DISK_SER_2): ReceiverInputDStream[String] 从TCP源主机:端口创建一个输入流。 start():Unit 启动Spark Streaming计算。 awaitTermination(timeout:
StorageLevel.MEMORY_AND_DISK_SER_2): ReceiverInputDStream[String] 用TCP协议(源主机:端口)创建一个输入流。 start():Unit 启动Streaming计算。 awaitTermination(timeout: long):Unit
相关配置文件。 复制解压目录下的“hosts”文件中的内容到本地hosts文件中,确保本地机器能与解压目录下“hosts”文件中所列出的各主机在网络上互通。 在本实践中,需要确保本地环境与MRS集群所在网络平面互通,通常可以通过绑定EIP的方式访问MRS集群,具体操作请参考配置W
StorageLevel.MEMORY_AND_DISK_SER_2): ReceiverInputDStream[String] 从TCP源主机:端口创建一个输入流。 start():Unit 启动Spark Streaming计算。 awaitTermination(timeout:
集群名称_metric_监控指标数据采集的周期_文件创建时间.log 文件内容格式(以MRS 3.x版本为例) 集群ID|集群名称|显示名称|服务名称|指标ID|采集时间|采集主机@m@子指标|单位|指标值 示例: 实际的文件中不存在对应的文件格式标题。 1|xx1|Host|Host|10000413|2019/06/18
StorageLevel.MEMORY_AND_DISK_SER_2): ReceiverInputDStream[String] 从TCP源主机:端口创建一个输入流。 start():Unit 启动Spark Streaming计算。 awaitTermination(timeout:
StorageLevel.MEMORY_AND_DISK_SER_2): ReceiverInputDStream[String] 从TCP源主机:端口创建一个输入流。 start():Unit 启动Spark Streaming计算。 awaitTermination(timeout:
DELETE /v1.1/{project_id}/clusters/{cluster_id} mrs:cluster:delete √ √ 查询主机列表(V1) GET /v1.1/{project_id}/clusters/{cluster_id}/hosts mrs:host:list
1创建的用户名。 kafka.sasl_kerberos_realm 配置为Kafka集群的域名。 kafka.sasl_mechanisms 指定连接Kafka使用的SASL认证机制,参数值为GSSAPI。 kafka_auth_mode ClickHouse连接Kafka的认证方式,参数值选择Kerberos。
DECIMAL[(p[,s])] 前提条件 需确保FlinkServer所在集群和GaussDB(DWS)所在集群网络互通,确保“可用区”、“虚拟私有云”、“安全组”配置相同。 FlinkServer所在集群(安全模式): 集群中已安装HDFS、Yarn、Kafka、ZooKeeper和Flink服务。
表2 网络配置和节点配置 参数名称 参数含义 取值样例 可用区 选择集群工作区域下关联的可用区。 可用区2 虚拟私有云 选择需要创建集群的VPC,单击“查看虚拟私有云”进入VPC服务查看已创建的VPC名称和ID。如果没有VPC,需要创建一个新的VPC。 xxx 子网 选择需要创建集
Serdes.Long())); } ... BOOTSTRAP_SERVERS需根据集群实际情况,配置为Kafka Broker节点的主机名及端口,可通过集群FusionInsight Manager界面中选择“集群 > 服务 > Kafka > 实例”查看Broker实例信息。
当前只支持keytab认证方式。 从FusionInsight Manager下载用户keytab,并将keytab放到Flink客户端所在主机的某个文件夹下。 在“flink-conf.yaml”上配置: keytab路径。 security.kerberos.login.keytab:
当前路径下不存在“huawei”目录。 执行图3中的命令创建以“huawei”为名的目录。其中,用1中查找到的主机名或IP和端口分别替代命令中的<HOST>和<PORT>,在<PATH>中输入想要创建的目录“huawei”。 用主机名或IP代替<HOST>都可以,要注意HTTP和HTTPS的端口不同。 执行下列命令访问HTTP。
配置方法 Kerberos认证 当前只支持keytab认证方式。 从KDC服务器上下载用户keytab,并将keytab放到Flink客户端所在主机的某个文件夹下(例如/home/flinkuser/keytab)。 在“${FLINK_HOME}/conf/flink-conf.yaml”上配置:
一打出完整的业务jar包,请参见打包Strom应用业务。 将开发好的yaml文件及相关的properties文件复制至storm客户端所在主机的任意目录下,如“/opt”。 执行命令提交拓扑。 storm jar /opt/jartarget/source.jar org.apache