检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
asList(topicArr)); // 通过brokers和topics直接创建kafka stream // 接收Kafka中数据,生成相应DStream JavaDStream<String> lines = KafkaUtils.createDirectStream(jssc
配置MRS集群告警阈值 集群Manager支持配置监控指标阈值用于关注各指标的健康情况,如果出现异常的数据并满足预设条件后,系统将会触发一条告警信息,并在告警页面中出现此告警信息。 配置MRS集群告警阈值(MRS 3.x及之后版本) 登录FusionInsight Manager。
”,等待客户端文件包生成后根据浏览器提示下载客户端到本地并解压。 MRS 3.3.0及之后版本,登录FusionInsight Manager页面,在“主页”右上方单击“下载客户端”,“选择客户端类型”设置为“仅配置文件”,单击“确定”,等待客户端文件包生成后根据浏览器提示下载客户端到本地并解压。
${path}/flink.keystore keystore的存放路径,“flink.keystore”表示用户通过generate_keystore.sh*工具生成的keystore文件名称。 security.ssl.internal.keystore-password 123456 keystor
户flume_kafka。 操作步骤 配置Flume的参数。 使用Manager界面中的Flume配置工具来配置Flume角色服务端参数并生成配置文件。 登录FusionInsight Manager,选择“集群 > 服务 > Flume > 配置工具”。 图1 选择配置工具 “
0-LTS及之后版本,在“主页”右上方选择“更多 > 下载客户端”),“选择客户端类型”设置为“仅配置文件”,单击“确定”,等待客户端文件包生成后根据浏览器提示下载客户端到本地并解压。 例如,客户端配置文件压缩包为“FusionInsight_Cluster_1_Services_Client
户flume_kafka。 操作步骤 配置Flume的参数。 使用Manager界面中的Flume配置工具来配置Flume角色服务端参数并生成配置文件。 登录FusionInsight Manager,选择“集群 > 服务 > Flume > 配置工具”。 图1 选择配置工具 “
增大时,会遇到系统扩展性以及调度性能瓶颈。另外,因为采用了资源反向匹配作业的调度机制,开源调度器在调度精度上也有局限性,例如数据亲和性偏于随机,另外系统也无法支持基于负载的调度策略等。主要原因是调度器在选择作业时,缺乏全局的资源视图,很难做到好的选择。 Superior Sche
件”,根据待安装客户端节点的节点类型选择正确的平台类型后(x86选择x86_64,ARM选择aarch64)单击“确定”,等待客户端文件包生成后根据浏览器提示下载客户端到本地并解压。 例如,客户端文件压缩包为“FusionInsight_Cluster_1_Services_Client
支持在“安全级别”筛选相同级别的全部告警。结果包含已清除和未清除的告警。 导出的审计日志文件,包含以下信息列: “编号”:表示MRS Manager已生成的审计日志数量,每增加一条审计日志则编号自动加1。 “操作类型”:表示用户操作的操作类型,分为“告警”、“审计日志”、“备份恢复”、“集群
单击“确定”开始生成客户端文件。 等待界面提示文件下载成功,到待安装客户端节点的指定路径中获取客户端软件包。 如果客户端下载失败,请检查用户名密码及远端主机的安全组配置,确保用户名密码正确,及远端主机的安全组已增加SSH端口的入方向规则,然后重新下载客户端。 生成客户端会占用大量
如果参数值大于HDFS物理磁盘大小,实际最多使用全部的HDFS物理磁盘空间。 说明: 为了保证数据的可靠性,HDFS中每保存一个文件则自动生成1个备份文件,即默认共2个副本。HDFS存储空间表示所有副本文件在HDFS中占用的磁盘空间大小总和。例如“存储空间配额”设置为“500MB
preStart.log Loader服务的预启动脚本日志。Loader服务启动时,需要先执行一系列的准备操作(preStart.sh),例如生成keytab文件等,该日志正是记录了这些操作信息。 loader_ctl.log Loader执行服务启停脚本(sqoop.sh)的日志。
此超过文件数阈值的告警上报会存在延迟。 存储空间配额 :填写租户目录的存储空间大小。 为了保证数据的可靠性,HDFS中每保存一个文件则自动生成1个备份文件,即默认共2个副本。HDFS存储空间所有副本文件在HDFS中占用磁盘空间大小总和。例如“存储空间配额”设置为“500”,则实际
图1 下载认证凭据 配置Flume参数。 使用FusionInsight Manager界面中的Flume来配置Flume角色服务端参数并生成配置文件。 登录FusionInsight Manager,选择“集群 > 服务 > Flume > 配置工具”。 图2 选择配置工具 “
conf”文件。 选择“集群 > 概览 > 更多 > 下载客户端”,“选择客户端类型”设置为“仅配置文件”,单击“确定”,等待客户端文件包生成后根据浏览器提示下载客户端到本地并解压。 例如,客户端配置文件压缩包为“FusionInsight_Cluster_1_Services_Client
清除之前运行生成的目标文件和可执行文件,运行如下命令。 make clean 执行结果如下: [root@10-120-85-2 hdfs-c-example]# make clean rm -f hdfs_test.o rm -f hdfs_test 编译生成新的目标和可执行文件,运行如下命令。
清除之前运行生成的目标文件和可执行文件,运行如下命令。 make clean 执行结果如下: [root@10-120-85-2 hdfs-c-example]# make clean rm -f hdfs_test.o rm -f hdfs_test 编译生成新的目标和可执行文件,运行如下命令。
集群支持下载x86_64和aarch64两种类型客户端,但是客户端类型必须与待安装节点的架构匹配,否则客户端会安装失败。 勾选“仅保存到如下路径”,单击“确定”开始生成客户端文件。 文件生成后默认保存在主管理节点“/tmp/FusionInsight-Client”。支持自定义其他目录且omm用户拥有目录的读、写与执
kafkaParams) // 用brokers and topics新建direct kafka stream //从Kafka接收数据并生成相应的DStream。 val stream = KafkaUtils.createDirectStream[String, String](ssc