检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
UI中单击word-count应用，查看应用程序运行情况，如图1所示。 图1 Storm应用程序执行界面 Topology stats统计了最近各个不同时间段的算子之间发送数据的总数据量。 Spouts中统计了spout算子从启动到现在发送的消息总量。Bolts中统计了Count算子和split算子的发送消息总量，如图2所示。
熔断规则存在边界效应，例如某个Job直到最后几个task才超过阈值，在执行熔断前任务恰好完成，则无法真正取消Job。 熔断规则running_0004，SQL执行时长包括Driver侧执行时间和Job运行时间，当SQL运行阻塞在Driver侧，尽管超过了熔断阈值，但是也无法取消job。此现象在存算分离场景下，INSERT
查看HBase应用调测结果 操作场景 HBase应用程序运行完成后，可直接通过运行结果查看应用程序运行情况，也可以通过HBase日志获取应用运行情况。 操作步骤 运行结果会有如下成功信息： ... 2020-01-09 10:43:49,338 INFO [main] examples
多副本场景下，运行在副本丢失损坏的BE节点的查询任务报错 现象描述 如果多个副本直接从磁盘上丢失了副本，比如mv改名，内核不会感知到该副本丢失，执行查询时如果请求运行在副本丢失的BE节点，报错： 处理步骤 登录安装了MySQL的节点，连接Doris数据库。 调用BE的check_
(FileStatus file, long start, long len) 通过该接口可查找指定文件在HDFS集群上块的位置，其中file为文件的完整路径，start和len来标识查找文件的块的范围。 public FSDataInputStream open(Path f)
(FileStatus file, long start, long len) 通过该接口可查找指定文件在HDFS集群上块的位置，其中file为文件的完整路径，start和len来标识查找文件的块的范围。 public FSDataInputStream open(Path f)
leStatus file, long start, long len) 通过该接口可查找指定文件在HDFS集群上块的位置，其中“file”为文件的完整路径，“start”和“len”来标识查找文件的块的范围。 public FSDataInputStream open(Path
查看OpenTSDB应用调测结果 操作场景 OpenTSDB样例程序运行完后，可直接通过运行结果查看应用程序运行情况，也可以通过运行日志获取应用运行情况。 操作步骤 运行结果会有如下成功信息： 2019-06-27 14:05:20,713 INFO [main] examples
查看OpenTSDB应用调测结果 操作场景 OpenTSDB样例程序运行完后，可直接通过运行结果查看应用程序运行情况，也可以通过运行日志获取应用运行情况。 操作步骤 运行结果会有如下成功信息： 2019-06-27 14:05:20,713 INFO [main] examples
如何查看指定Yarn任务的日志？ 以root用户登录主Master节点。 执行如下命令初始化环境变量。 source 客户端安装目录/bigdata_env 如果当前集群已启用Kerberos认证，执行以下命令认证当前用户。如果当前集群未启用Kerberos认证，则无需执行此命令。
权限暂不支持。 使用show grant命令查看表权限，表owner的grantor列统一显示为hive用户，其他用户Ranger页面赋权或后台采用grant命令赋权，则grantor显示为对应用户；若用户需要查看之前Hive权限插件的结果，可设置hive-ext.ranger.previous
Spark主要使用到如下这几个类： JavaSparkContext：是Spark的对外接口，负责向调用该类的Java应用提供Spark的各种功能，如连接Spark集群，创建RDD，累积量和广播量等。它的作用相当于一个容器。 SparkConf：Spark应用配置类，如设置应用名称，执行模式，executor内存等。
配置 > 全部配置”。在搜索框中输入“spark.dynamicAllocation.enabled”参数名称，将JDBCServer下的该参数值设置为“true”，表示开启动态资源调度功能。 下面是一些可选配置，如表1所示。 表1 动态资源调度参数 配置项 说明 默认值 spark
以root用户登录集群的主Master节点，密码为用户创建集群时设置的root密码。 执行如下命令，配置环境变量。 source /opt/client/bigdata_env 使用Alluxio Shell Alluxio shell包含多种与Alluxio交互的命令行操作。 要查看文件系统操作命令列表。 alluxio
问题 当用户设置“blob.storage.directory”为“/home”时，用户没有权限在“/home”下创建“blobStore-UUID”的文件，导致yarn-session启动失败。 回答 建议将"blob.storage.directory"配置选项设置成“/tmp
问题 当用户设置“blob.storage.directory”为“/home”时，用户没有权限在“/home”下创建“blobStore-UUID”的文件，导致yarn-session启动失败。 回答 建议将"blob.storage.directory"配置选项设置成“/tmp
写完的数据，将返回确认信息给HDFS Client。 合理设置块大小，如设置dfs.blocksize为 268435456（即256MB）。 对于一些不可能重用的大数据，缓存在操作系统的缓存区是无用的。可将以下两参数设置为false： dfs.datanode.drop.cache
管理消息 进入Kafka服务页面： 登录FusionInsight Manager，然后选择“集群 > 服务 > Kafka”。 单击“实例”，查看Kafka Broker角色实例的IP地址。 记录Kafka角色实例其中任意一个的IP地址即可。 根据业务情况，准备好客户端，参考使用MRS客户端章节，登录安装客户端的节点。
通过Hue查看Hive元数据 操作场景 用户需要使用图形化界面在集群中管理Hive的元数据，可以通过Hue完成任务。 元数据管理器使用介绍 访问Hue WebUI，请参考访问Hue WebUI界面。 查看Hive表的元数据 在左侧导航栏单击表，单击某一表名称，界面将显示Hive表的元数据信息。
如何查看MRS作业的日志？ MRS Console页面作业管理，每一条作业支持查看日志，包含launcherJob日志和realJob日志。 launcherJob作业的日志，一般会在stderr和stdout中打印错误日志，如下图所示： realJob的日志，可以通过MRS M
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
