检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Scala样例代码 功能简介 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 代码样例 下面代码片段仅为演示，具体代码参见com.huawei.bigdata.spark.examples.FemaleInfoCollection： object CollectFemaleInfo
开发Spark应用 Spark Core程序 Spark SQL程序 Spark Streaming程序 通过JDBC访问Spark SQL的程序 Spark on HBase程序 从HBase读取数据再写入HBase 从Hive读取数据再写入HBase Streaming从Kafka读取数据再写入HBase
新增作业并执行（废弃） 功能介绍 在MRS集群中新增一个作业，并执行作业。该接口不兼容Sahara。 集群ID可参考查询集群列表接口获取。 MRS 3.x版本镜像，不支持MRS V1.1作业管理接口，需要使用V2作业管理接口。 接口约束 DistCp作业需要配置文件操作类型(file_action)。
使用HetuEngine HetuEngine交互查询引擎概述 HetuEngine用户权限管理 快速使用HetuEngine访问Hive数据源 创建HetuEngine计算实例 添加HetuEngine数据源 配置HetuEngine物化视图 配置HetuEngine SQL诊断功能
使用Spark执行Hudi样例程序（Python） 下面代码片段仅为演示，具体代码参见：HudiPythonExample.py。 插入数据： #insert inserts = sc._jvm.org.apache.hudi.QuickstartUtils.convertToStringList(dataGen
使用Spark执行Hudi样例程序（Python） 下面代码片段仅为演示，具体代码参见：HudiPythonExample.py。 插入数据： #insert inserts = sc._jvm.org.apache.hudi.QuickstartUtils.convertToStringList(dataGen
Table Information Database: default
把主节点/srv/BigData/dbdata_service/data的内容拷贝到备节点，保持文件权限和属组与主节点一样。 修改postgresql.conf配置信息，localhost修改成本节点IP，remotehost修改成对端节点IP。 登录Manager页面重启备DBServer节点。
CarbonData CarbonData是一种新型的Apache Hadoop本地文件格式，使用先进的列式存储、索引、压缩和编码技术，以提高计算效率，有助于加速超过PB数量级的数据查询，可用于更快的交互查询。同时，CarbonData也是一种将数据源与Spark集成的高性能分析引擎。
操作HBase数据源 场景说明 用户可以在Spark应用程序中以数据源的方式去使用HBase，将dataFrame写入HBase中，并从HBase读取数据以及对读取的数据进行过滤等操作。 数据规划 在客户端执行hbase shell，进入HBase命令行，使用下面的命令创建样例代码中要使用的HBase表：
采集数据时报错HoodieKeyException 问题 创建Hudi表时，是否可以使用包含空记录的可空字段作为主键？ 回答 不可以，会抛HoodieKeyException异常。 Caused by: org.apache.hudi.exception.HoodieKeyException:
采集数据时报错HoodieKeyException 问题 创建Hudi表时，是否可以使用包含空记录的可空字段作为主键？ 回答 不可以，会抛HoodieKeyException异常。 Caused by: org.apache.hudi.exception.HoodieKeyException:
public void doWork() { ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(waitTime));
分析Hive数据 功能介绍 本小节介绍了如何使用样例程序完成分析任务。样例程序主要有以下方式。 使用JDBC接口提交数据分析任务。 使用HCatalog接口提交数据分析任务。 样例代码 使用Hive JDBC接口提交数据分析任务，参考样例程序中的JDBCExample.java。
使用Spark Shell创建Hudi表 操作场景 本指南通过使用spark-shell简要介绍了Hudi功能。使用Spark数据源，将通过代码段展示如何插入和更新Hudi的默认存储类型数据集： COW表。每次写操作之后，还将展示如何读取快照和增量数据。 前提条件 在Manage
Spark SQL样例程序（Scala） 功能简介 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 代码样例 下面代码片段仅为演示，具体代码参见com.huawei.bigdata.spark.examples.FemaleInfoCollection： object
equals("female"); } }).keyBy( new UserRecordSelector() ).window( TumblingEventTimeWindows.of(Time
配置Hive SQL防御规则 操作场景 用户可以在Manager界面配置Hive的SQL防御规则，根据业务调整对应SQL防御规则的参数。 前提条件 已安装包含Hive服务的集群客户端，例如安装目录为“/opt/hadoopclient”。 集群中Hive服务运行状态正常。 对于开
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
Spark SQL样例程序（Scala） 功能简介 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 代码样例 下面代码片段仅为演示，具体代码参见com.huawei.bigdata.spark.examples.FemaleInfoCollection： object
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
