检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Executor进程Crash导致Stage重试 问题 在执行大数据量的Spark任务（如100T的TPCDS测试套）过程中，有时会出现Executor丢失从而导致Stage重试的现象。查看Executor的日志，出现“Executor 532 is lost rpc with driver
Repartition时有部分Partition没数据 问题 在repartition操作时，分块数“spark.sql.shuffle.partitions”设置为4500，repartition用到的key列中有超过4000个的不同key值。期望不同key对应的数据能分到不同
Kafka Consumer API使用样例 功能介绍 下面代码片段在com.huawei.bigdata.kafka.example.Consumer类中，用于消费订阅的Topic消息。 代码样例 Consumer线程的dowork方法逻辑，该方法是run方法的重写。 样例代码
Hive同步数据报错HoodieHiveSyncException 问题 Hive同步数据时报错： com.uber.hoodie.hive.HoodieHiveSyncException: Could not convert field Type from <type1> to
删除CarbonData Table 操作场景 可使用DROP TABLE命令删除表。删除表后，所有metadata以及表中已加载的数据都会被删除。 操作步骤 运行如下命令删除表。 命令： DROP TABLE [IF EXISTS] [db_name.]table_name;
Storm应用开发简介 简介 Storm是一个分布式的、可靠的、容错的数据流处理系统。它会把工作任务委托给不同类型的组件，每个组件负责处理一项简单特定的任务。Storm的目标是提供对大数据流的实时处理，可以可靠地处理无限的数据流。 Storm有很多适用的场景：实时分析、在线机器学
查看HDFS应用调测结果 操作场景 HDFS应用程序运行完成后，可直接通过运行结果查看应用程序运行情况，也可以通过HDFS日志获取应用运行情况。 操作步骤 查看运行结果获取应用运行情况 HdfsMain Linux样例程序安全集群运行结果如下所示： [root@node-master1dekG
Scala样例代码 功能简介 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 代码样例 下面代码片段仅为演示，具体代码参见com.huawei.bigdata.spark.examples.FemaleInfoCollection。 样例代码获取方式请参考获取MRS应用开发样例工程。
Python样例代码 功能简介 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 代码样例 下面代码片段仅为演示，具体代码参见collectFemaleInfo.py。 样例代码获取方式请参考获取MRS应用开发样例工程。 代码样例： def contains(str
设计DAG 操作场景 合理的设计程序结构，可以优化执行效率。在程序编写过程中要尽量减少shuffle操作，合并窄依赖操作。 操作步骤 以“同行车判断”例子讲解DAG设计的思路。 数据格式：通过收费站时间、车牌号、收费站编号...... 逻辑：以下两种情况下判定这两辆车是同行车 如果两辆车都通过相同序列的收费站，
经验总结 使用mapPartitions，按每个分区计算结果 如果每条记录的开销太大，例 rdd.map{x=>conn=getDBConn;conn.write(x.toString);conn.close} 则可以使用MapPartitions，按每个分区计算结果，如 rdd
使用多线程Producer发送消息 功能简介 在使用Producer API向安全Topic生产消息基础上，实现了多线程Producer，可启动多个Producer线程，并通过指定相同key值的方式，使每个线程对应向特定Partition发送消息。 下面代码片段在com.huawei
查询Doris表数据 本章节介绍查询Doris表数据样例代码。 以下代码片段在“JDBCExample”类中。 以Java JDBC方式执行SQl语句查询集群中的dbName.tableName表数据。 String querySql = "select * from " + dbName
Start Action 功能描述 流程任务的执行入口，每个流程任务有且仅有一个该节点。 参数解释 Start Action节点中包含的各参数及其含义，请参见表1。 表1 参数含义 参数 含义 to 后继action节点的名称 样例代码 <start to="mr-dataLoad"/>
作业提交参数间用空格隔开导致参数信息不被识别如何处理？ 问： 作业提交参数间用空格隔开会导致参数信息不被识别吗？ 答： 不同参数间用空格隔开，可通过在参数名前添加@的方式防止参数信息被明文存储，例如: @password=XXXXXX进行使用。 父主题： 作业管理类
ClickHouse客户端执行SQL查询时报内存不足如何处理？ 问题现象 ClickHouse会限制group by使用的内存量，在使用ClickHouse客户端执行SQL查询时报如下错误： Progress: 1.83 billion rows, 85.31 GB (68.80
如何在CarbonData数据加载时修改默认的组名？ 问题 如何在CarbonData数据加载时修改默认的组名？ 回答 CarbonData数据加载时，默认的组名为“ficommon”。可以根据需要修改默认的组名。 编辑“carbon.properties”文件。 根据需要修改关键字“carbon
HDFS执行Balance时被异常停止如何处理 问题 在HDFS客户端启动一个Balance进程，该进程被异常停止后，再次执行Balance操作，操作会失败。 回答 通常，HDFS执行Balance操作结束后，会自动释放“/system/balancer.id”文件，可再次正常执行Balance。
Password cannot be null if SASL is enabled异常 问题 运行Spark的应用启用了ExternalShuffle，应用出现了Task任务丢失，原因是由于java.lang.NullPointerException: Password cannot
LD_PRELOAD，则可以将上述参数加到其中，用空格隔开。 无 spark.gluten.sql.columnar.libpath Native加速库的服务端路径，非镜像场景时该文件并不存在，设置为空。 集群中的spark安装目录下，例如： ${BIGDATA_HOME}/FusionInsi
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
