检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
查看Flume客户端监控信息 集群外的Flume客户端也是端到端数据采集的一环，与集群内Flume服务端一起都需要监控，用户通过FusionInsight Manager可以对Flume客户端进行监控，可以查看客户端的Source、Sink、Channel的监控指标以及客户端的进程状态。 登录FusionInsight
Hive应用开发建议 HQL编写之隐式类型转换 查询语句使用字段的值做过滤时，不建议通过Hive自身的隐式类型转换来编写HQL。因为隐式类型转换不利于代码的阅读和移植。 建议示例： select * from default.tbl_src where id = 10001; select
查看到相应的进程，发现RegionServer的端口被DFSZkFailoverController占用。 查看“/proc/sys/net/ipv4/ip_local_port_range”显示为“9000 65500”，临时端口范围与MRS产品端口范围重叠，因为安装时未进行preinstall操作。
处理步骤 在集群上安装客户端，查看客户端“sqoop/lib”目录下是否有MySQL驱动包。 在客户端目录下加载环境变量。 source bigdata_env 执行Kerberos用户认证。 如果集群已启用Kerberos认证，执行以下命令认证具有操作权限的用户，否则跳过此步骤。
问题 开启TableStatus多版本特性下，最新的tablestatus文件丢失或其他异常原因损坏的情况下，如何恢复？ 回答 使用当前可得的最近的tablestatus文件进行恢复，分为如下两个场景来进行恢复： 场景一：当前批次的CarbonData数据文件和.segment文件损坏无法恢复。
通过MapReduce服务的WebUI进行查看 登录MRS Manager，单击“服务管理 > MapReduce > JobHistoryServer”进入Web界面后查看任务执行状态。 图1 JobHistory Web UI界面 通过YARN服务的WebUI进行查看 登录MRS
使用REST服务，传入对应host与port组成的url，通过HTTPS协议，获取集群版本与状态信息。 代码样例 获取集群版本信息 以下代码片段在“hbase-rest-example\src\main\java\com\huawei\hadoop\hbase\examples”包的“HBaseRestT
使用REST服务，传入对应host与port组成的url，通过HTTPS协议，获取集群版本与状态信息。 代码样例 获取集群版本信息 以下代码片段在“hbase-rest-example\src\main\java\com\huawei\hadoop\hbase\examples”包的“HBaseRestT
际在Hive查询中是有数据的）。 原因分析 转换格式失败，spark-sql使用其内置的Metastore，而不是Hive中使用的Metastore，所以读取元数据时失败，spark-sql内部读取的是Partque格式的数据，而Hive中默认是ORC的。 处理步骤 登录Spar
--enable-cleartext-plugin -u数据库登录用户 -p数据库登录用户密码 -P数据库连接端口 -hDoris FE实例IP地址 在安装了MySQL客户端的节点执行以下命令启用mysql_clear_password插件，再重新连接Doris即可。 export LIBMYSQL_E
WebUI”，单击任意一个UI链接，打开Storm的WebUI。 单击“Topology Summary”区域的指定拓扑名称，打开拓扑的详细信息。 在“Topology actions”区域单击“Kill”删除已经提交的Storm拓扑。 重新提交Storm拓扑，并开启查看拓扑数据处理日志功
PyFlink样例程序代码说明 通过Python API的方式提交Flink读写Kafka作业到Yarn上代码样例 下面列出pyflink-kafka.py的主要逻辑代码作为演示，在提交之前需要确保“file_path” 为要运行的SQL的路径，建议写全路径。 完整代码参见“flink-
Yarn是一个分布式的资源管理系统，用于提高分布式的集群环境下的资源利用率，这些资源包括内存、IO、网络、磁盘等。其产生的原因是为了解决原MapReduce框架的不足。最初MapReduce的committer还可以周期性的在已有的代码上进行修改，可是随着代码的增加以及原MapRe
Manager界面选择“系统设置 > 角色管理 > 添加角色”。 填写角色的名称，例如sparkrole。 在“权限”表格中选择“HBase > HBase Scope > global”，勾选default的“Create”。 在“权限”的表格中选择“HBase > HBase Scope > global
erberos认证的集群忽略该步骤。 操作步骤 登录MRS Manager，在MRS Manager界面选择“系统设置 > 角色管理 > 添加角色”，如图 1 添加角色所示。 图1 添加角色 填写角色的名称，例如opentsdbrole。 编辑角色，在“权限”的表格中选择“HBase>
提供内存级I/O 吞吐率，同时降低具有弹性扩张特性的数据驱动型应用的成本开销 简化云存储和对象存储接入 简化数据管理，提供对多数据源的单点访问 应用程序部署简易 Alluxio 接口开发简介 Alluxio支持使用Java进行程序开发，具体的API接口内容请参考https://docs
BS在内的持久化存储系统，从而实现了对计算和存储的分离。 图1 Alluxio架构 优势： 提供内存级I/O吞吐率，同时降低具有弹性扩张特性的数据驱动型应用的成本开销 简化云存储和对象存储接入 简化数据管理，提供对多数据源的单点访问 应用程序部署简易 有关Alluxio的详细信息，请参见：https://docs
neInputFormat来减少任务读取的文件数量。 增大hadoop命令执行时的内存，该内存在客户端中设置，修改“客户端安装目录/HDFS/component_env”文件中“CLIENT_GC_OPTS”的“-Xmx”参数，将该参数的默认值改大，比如改为512m。然后执行source
通过后台日志看到一些Java安全随机数的日志，在JDK中，SecureRandom算法底层依赖操作系统提供的随机数据；在Linux中，与之相关的是“/dev/random”和“/dev/urandom”。当熵池为空时，来自“/dev/random”的读操作将被阻塞，直到熵池收集到足够的环境噪声数据，导致提交任务慢或者失败。
悉且统一的平台。作为查询大数据的工具的补充，Impala不会替代基于MapReduce构建的批处理框架，例如Hive。基于MapReduce构建的Hive和其他框架最适合长时间运行的批处理作业。 Impala主要特点如下： 支持Hive查询语言（HQL）中大多数的SQL-92功能
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
