检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在节点中安装客户端,例如客户端安装目录为“/opt/hadoopclient”。客户端安装可参考配置Flink应用安全认证。 客户端机器的时间与集群的时间要保持一致,时间差小于5分钟。 集群的Master节点或者Core节点使用客户端可参考集群内节点使用MRS客户端,MRS集群外客户
如果创建集群时添加了引导操作,则“执行引导操作”参数有效,开启该功能时扩容的节点会把创建集群时添加的引导操作脚本都执行一遍。 如果“新节点规格”参数有效,则表示与原有节点相同的规格已售罄或已下架,新扩容的节点将按照“新节点规格”增加。 扩容集群前需要检查集群安全组是否配置正确,要确保集群入方向安全组规
文件,文件生成后默认保存在主管理节点“/tmp/FusionInsight-Client”。支持自定义其他目录且omm用户拥有目录的读、写与执行权限。然后执行4。 否,单击“确定”指定本地的保存位置,开始下载完整客户端,等待下载完成,然后执行4。 使用WinSCP工具,以客户端安
删除弹性伸缩策略 功能介绍 删除弹性伸缩策略。 调用方法 请参见如何调用API。 URI DELETE /v2/{project_id}/autoscaling-policy/{cluster_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String
查询集群节点列表 功能介绍 查询集群节点列表。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/clusters/{cluster_id}/nodes 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 参数解释:
用户”,在用户名为developuser的操作列选择“更多 > 下载认证凭据”下载认证凭据文件,保存后解压得到该用户的“user.keytab”文件与“krb5.conf”文件。 准备运行环境配置文件 应用程序开发或运行过程中,需通过集群相关配置文件信息连接MRS集群,配置文件通常包括集群
/opt/female/” )下。 运行任务 进入Spark客户端目录,调用bin/spark-submit脚本运行代码,运行命令分别如下(类名与文件名等请与实际代码保持一致,此处仅为示例): 运行Scala和Java样例程序 bin/spark-submit --class com.huawei
echo "${files[*]}") 进入Spark客户端目录,调用bin/spark-submit脚本运行代码,运行命令如下(类名与文件名等请与实际代码保持一致,此处仅为示例): bin/spark-submit --master yarn --deploy-mode client
执行Kafka Topic创建操作时发现无法创建提示“NoAuthException” 问题背景与现象 在使用Kafka客户端命令创建Topic时,发现Topic无法被创建。 kafka-topics.sh --create --zookeeper 192.168.234.231:2181/kafka
Hive任务失败,报没有HDFS目录的权限 问题背景与现象 Hive任务报错,提示执行用户没有HDFS目录权限: 2019-04-09 17:49:19,845 | ERROR | HiveServer2-Background-Pool: Thread-3160445 | Job
是否自定义connector,根据实际需求选择: 是:文件为自定义connector依赖包。 否:文件为非自定义connector依赖包。 是 名称 添加的依赖名称,需与上传的依赖包中connector的连接名一致。不支持上传同名依赖包。 kafka 注册jar jar包的上传方式: 上传文件:添加本地的jar包
topology1 显示以下信息表示拓扑提交成功: Finished submitting topology: topology1 登录认证用户必须与所加载环境变量(component_env)一 一对应,否则使用storm命令提交拓扑任务出错。 加载客户端环境变量且对应用户登录成功后,该
明端口已经开放,否则说明端口被防火墙禁用。 是,执行13。 否,执行16。 执行命令iptables -P INPUT ACCEPT,防止与服务器断开。 清除防火墙。 iptables -F 查看告警列表中,该告警是否已清除。 是,处理完毕。 否,执行16。 收集故障信息。 在FusionInsight
t_Porter_*/install/FusionInsight-Flume-*/flume/conf 执行以下命令查看用户证书的生效时间与失效时间,查看目前时间是否在有效期内。 openssl x509 -noout -text -in ms_sChat.crt 是,执行9。 否,执行5。
csv_value -----+------------- 100 | a 200 | b,c max_by(x, y) 描述:返回与所有输入值中y字段的最大值相关联的x的值。 select max_by(name,price) from fruit; -- peach
/opt/female/” )下。 运行任务 进入Spark客户端目录,调用bin/spark-submit脚本运行代码,运行命令分别如下(类名与文件名等请与实际代码保持一致,此处仅为示例): 运行Java或Scala样例代码 bin/spark-submit --jars --conf
进程被终止如何定位原因 问题背景与现象 在某环境出现DataNode异常重启,且确认此时未从页面做重启DataNode的操作,需要定位是什么进程终止了DataNode服务端进程。 原因分析 常见的进程被异常终止有2种原因: Java进程OOM被终止 一般Java进程都会配置OOM
DBService超过最大连接数后导致Hive MetaStore异常 问题背景与现象 DBService默认最大连接数是300,如果当业务量比较大,导致连接DBService的最大连接数超过300时,MetaStore会出现异常,并报slots are reserved for
缺点:需要依赖于数据格式,常见的方式通过CDC采集工具,将数据采集到Kafka,然后Flink读Kafka数据进行计算。 通过changelog数据解决 changelog与CDC格式的数据类似,只不过存储的方式不同,CDC格式数据会将更新前和更新后的数据在一行记录,而changelog数据会将更新数据拆分成两行
/config/consumer.properties 确保当前consumer在线消费。 确保配置文件consumer.properties中的group.id与命令中--group的参数均配置为待查询的group。 Kafka集群IP端口号安全模式下是21007,普通模式下是9092。 使用KafkaUI查看当前消费情况