检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
CHILD”。 在程序运行时添加运行参数，分别为hive-site.xml与spark-defaults.conf文件的路径。 运行程序。 查看调试结果 SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found
Flink DataStream样例程序（Scala） 功能介绍 实时统计连续网购时间超过2个小时的女性网民信息，将统计结果直接打印出来。 DataStream FlinkStreamScalaExample代码样例 下面代码片段仅为演示，具体代码参见com.huawei.bigdata
配置FlinkServer作业中添加第三方依赖jar 本章节适用于MRS 3.3.0及之后的版本。 Flink支持通过第三方依赖包来运行自定义Flink作业。可以在Flink WebUI界面中上传并管理依赖jar包，然后在运行作业时调用对应依赖。依赖管理暂不支持“语义”校验功能，
由于网络问题或者数据量大导致leader和follower数据不同步。 解决方法是客户端连接到Leader实例进行删除操作。 具体过程是首先根据如何查看哪个ZooKeeper实例是Leader查看Leader所在节点IP，使用连接客户端命令zkCli.sh -server Leader节点IP:2181成功后进
使用BulkLoad工具批量更新HBase数据 操作场景 HBase BulkLoad工具支持根据RowKey的命名规则、RowKey的范围、字段名以及字段值进行批量更新数据。 使用BulkLoad工具批量更新HBase数据 执行如下命令更新从“row_start”到“row_s
多个NameService环境下运行MapReduce任务失败 问题 多个NameService环境下，运行使用viewFS功能的MapReduce或YARN任务失败。 回答 当使用viewFS时，只有在viewFS中挂载的目录才能被访问到。所以最可能的原因是配置的路径没有在viewFS的挂载点上。例如：
多级嵌套子查询以及混合Join的SQL调优 操作场景 本章节介绍在多级嵌套以及混合Join SQL查询的调优建议。 前提条件 例如有一个复杂的查询样例如下： select s_name, count(1) as numwait from ( select s_name from (
从NodeManager中获取数据，当数据量达到一个级别（10T级别），会出现NodeManager单点瓶颈（ShuffleService服务在NodeManager进程中），就会出现某些Task获取数据超时，从而出现该问题。 因此，当数据量达到10T级别以上的Spark任务，建
Streaming任务打印两次相同DAG日志 问题 在使用Spark Streaming时，使用以下命令运行程序： spark-submit -master yarn-client --conf spark.logLineage=true --jars $SPARK_HOME/j
项“hbase.replication.allowedIPs”配置。 在FusionInsight Manager系统中，选择“集群 > 服务 > HBase > 配置”，在搜索框中输入表1中的参数名称。 表1 参数说明 配置参数 说明 hbase.replication.allowedIPs
Presto应用开发环境简介 根据场景开发工程 提供了Java语言的样例工程和数据查询的样例工程。 Presto样例程序开发思路 运行程序及查看结果 指导用户将开发好的程序编译提交运行并查看结果。 JDBC客户端运行及结果查看 父主题： Presto应用开发概述
数据分析代码实现，请见查询Hive数据。 查看薪水支付币种为美元的雇员联系方式。 查询入职时间为2014年的雇员编号、姓名等字段，并将查询结果加载进表employees_info_extended中的入职时间为2014的分区中。 统计表employees_info中有多少条记录。 查询使用以“cn”结尾的邮箱的员工信息。
开发环境：Windows系统，推荐Windows7以上版本。 运行环境：Linux系统。 安装JDK 开发和运行环境的基本配置。版本要求如下： MRS集群的服务端和客户端仅支持自带的Oracle JDK（版本为1.8），不允许替换。 对于客户应用需引用SDK类的Jar包运行在客户应用进程中的，支持Oracle
Alluxio样例程序开发思路 场景说明 通过典型场景，可以快速学习和掌握Alluxio的开发过程，并对关键的接口函数有所了解。 Alluxio的业务操作对象是文件，代码样例中所涉及的文件操作主要包括创建文件和对文件的读写；Alluxio还有其他的业务处理，例如设置文件权限等，其
<groupID> 删除指定组。 查询组 hdfs colocationadmin -queryGroup <groupID> 查询指定组的详细信息，包括该group包含的locators以及每个locator及其对应的DataNode。 查看所有组 hdfs colocationadmin
定义和元数据查询。基于MRS的HCatalog功能，Hive、Mapreduce开发人员能够共享元数据信息，避免中间转换和调整，能够提升数据处理的效率。 WebHCat WebHCat运行用户通过Rest API来执行Hive DDL，提交Mapreduce任务，查询Mapreduce任务执行结果等操作。
alad实例发生故障，比如节点异常、网络异常等，Statestore将通知其他Impalad实例，后续的查询请求等将不会向该实例分发。 Catalog Catalog实例服务将每个Impalad实例上发生的元数据变动同步到集群内其他Impalad实例，从而避免在一个Impalad
优化数据倾斜场景下的Spark SQL性能 配置场景 在Spark SQL多表Join的场景下，会存在关联键严重倾斜的情况，导致Hash分桶后，部分桶中的数据远高于其它分桶。最终导致部分Task过重，跑得很慢；其它Task过轻，跑得很快。一方面，数据量大Task运行慢，使得计算性
优化小文件场景下的Spark SQL性能 配置场景 Spark SQL的表中，经常会存在很多小文件（大小远小于HDFS块大小），每个小文件默认对应Spark中的一个Partition，也就是一个Task。在很多小文件场景下，Spark会起很多Task。当SQL逻辑中存在Shuff
问题 在执行大数据量的Spark任务（如100T的TPCDS测试套）过程中，有时会出现Executor丢失从而导致Stage重试的现象。查看Executor的日志，出现“Executor 532 is lost rpc with driver,but is still alive
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
