检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
通过SSH登录Worker启动失败主机,通过netstat -anp | grep <port>命令,查看占用端口的进程ID信息。其中port修改为实际端口号。 通过ps -ef | grep <pid>命令查看进程的详细信息,其中pid为查询出的实际进程ID。 发现占用端口的进程为worker进程,该进程为另一
nService把产生的日志收集到HDFS上,并从本地文件系统中删除。日志收集到HDFS上以后由HistoryServer来进行统一的日志管理。LogAggregationService在收集日志时会把container产生的本地日志合并成一个日志文件上传到HDFS,在一定程度上
查看Spark应用调测结果 操作场景 Spark应用程序运行完成后,您可以查看运行结果数据,也可以通过Spark WebUI查看应用程序运行情况。 操作步骤 查看Spark应用运行结果数据。 结果数据存储路径和格式已经与Spark应用程序指定,您可以通过指定文件中获取到运行结果数据。
查看Kafka数据生产消费详情 操作场景 用户可以通过KafkaUI查看Topic详情、修改Topic Configs、增加Topic分区个数、删除Topic,并可实时查看不同时段的生产数据条数。 安全模式下,KafkaUI对查看Topic详情操作不作鉴权处理,即任何用户都可以查询Topic信息;对于修改Topic
命令:netstat -nap | grep 20051查看占用20051端口的进程。 使用kill命令强制终止使用20051端口的进程。 约2分钟后,再次执行命令:netstat -nap | grep 20051,查看是否还有进程占用该端口。 确认占用该端口进程所属的服务,并修改为其他端口。
查看Oozie应用调测结果 操作场景 Oozie样例工程运行完成后可以通过控制台查看输出结果。 操作步骤 控制台显示运行结果会有如下成功信息: cluset status is false Warning: Could not get charToByteConverterClass
查看HDFS应用调测结果 操作场景 HDFS应用程序运行完成后,可直接通过运行结果查看应用程序运行情况,也可以通过HDFS日志获取应用运行情况。 操作步骤 查看运行结果获取应用运行情况 HdfsMain Linux样例程序安全集群运行结果如下所示: [root@node-master1dekG
及数据虚拟化引擎。与大数据生态无缝融合,实现海量数据秒级交互式查询;支持跨源跨域统一访问,使能数据湖内、湖间、湖仓一站式SQL融合分析。 HetuEngine基本概念 HSBroker: HetuEngine的服务代理,用作用户租户管理校验,HetuEngine访问URL的获取等。
查看Oozie应用调测结果 操作场景 Oozie样例工程运行完成后可以通过控制台查看输出结果。 操作步骤 控制台显示运行结果会有如下成功信息: log4j:WARN No appenders could be found for logger (com.huawei.hadoop
查看Oozie应用调测结果 操作场景 Oozie样例工程运行完成后可以通过控制台查看输出结果。 操作步骤 控制台显示运行结果会有如下成功信息: cluset status is false Warning: Could not get charToByteConverterClass
查看Oozie应用调测结果 操作场景 Oozie样例工程运行完成后可以通过控制台查看输出结果。 操作步骤 控制台显示运行结果会有如下成功信息: log4j:WARN No appenders could be found for logger (com.huawei.hadoop
查看弹性伸缩策略 功能介绍 查看指定集群的所有的弹性伸缩策略信息。 接口约束 无 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/autoscaling-policy/{cluster_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id
clickhouse client --host 主机名/ClickHouse实例IP地址 --database 数据库名 --port 端口号 --secure --format_csv_delimiter="csv文件数据分隔符" --query="INSERT INTO 数据表名
查看HBase应用调测结果 HBase应用程序运行完成后,可直接通过运行结果查看应用程序运行情况。 也可以通过HBase日志获取应用运行情况。 运行结果会有如下成功信息: 2018-01-17 19:44:28,068 INFO [main] examples.HBaseExample:
照实际情况配置,所配置的principal需要有相应的kafka的权限。 配置业务,其中kafka.bootstrap.servers的端口号使用21007,kafka.security.protocol使用SASL_PLAINTEXT。 如果Kafka所在集群的域名发生了更改,
如何查看指定Yarn任务的日志? 以root用户登录主Master节点。 执行如下命令初始化环境变量。 source 客户端安装目录/bigdata_env 如果当前集群已启用Kerberos认证,执行以下命令认证当前用户。如果当前集群未启用Kerberos认证,则无需执行此命令。
http://Doris FE实例IP地址:HTTP端口号/api/{数据库名称}/{表名}/_stream_load Doris FE实例IP地址可在Manager界面,选择“集群 > 服务 > Doris > 实例”查看。 HTTPS端口号可在Manager界面,选择“集群 > 服务
DETAILS”页面的State选项可以对查询任务进行筛选。 表2 State含义 State 含义 Running 查看当前正在运行中的任务 Queued 查看等待队列中等待执行的任务 Finished 查看执行完成的任务 Failed 查看执行失败的任务,并可以按照任务失败原因进行过滤
anager。 通过管理控制台查看组件状态 登录MRS管理控制台。 选择“现有集群”,选中一个运行中的集群并单击集群名称,进入集群信息页面。 在MRS集群详情页面,单击“组件管理”,可查看服务操作状态、服务健康状态和服务配置状态等信息。 图1 查看集群组件状态 表1 管理控制台组件状态说明
权限的用户仅能查看MRS的资源,无法访问Manager页面。 检查是否绑定弹性IP:如果需要从本地访问Manager,需要对集群绑定弹性IP且弹性IP可用才可访问。 检查安全组:MRS集群对应的安全组规则中,需要对当前用户开放9022端口。安全组规则中添加的用户本地IP是否发生变化。