检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如果出现如下异常： importError: libsasl2.so.2: cannot open shared object file: No such file or directory 请按照以下方式处理： 首先执行如下命令，查询所装操作系统中LibSASL的版本 ldconfig
Spark读写Hudi开发规范 Spark写Hudi各种写入模式参数规范说明 类型 说明 开启参数 场景选择 特点 upsert update + insert Hudi默认写入类型，写入具有更新能力。 默认，无需参数开启。 SparkSQL: set hoodie.datasource
准备Spark应用开发环境 准备Spark本地应用开发环境 准备Spark连接集群配置文件 导入并配置Spark样例工程 新建Spark样例工程（可选） 配置Spark应用安全认证 配置Spark Python3样例工程 父主题： Spark2x开发指南（安全模式）
String[] words = line.toLowerCase(Locale.getDefault()).split(REGEX_STRING); for (String word : words) {
Spark SQL性能调优 Spark SQL join优化 优化数据倾斜场景下的Spark SQL性能 优化小文件场景下的Spark SQL性能 Spark INSERT SELECT语句调优 动态分区插入场景内存优化 小文件优化 聚合算法优化 Datasource表优化 合并CBO优化
有大量分区时执行drop partition操作失败 问题背景与现象 执行drop partitions操作，执行异常： MetaStoreClient lost connection. Attempting to reconnect. | org.apache.hadoop.hive
HetuEngine物化视图SQL示例 物化视图SQL示例请参考表1。 表1 物化视图的操作 操作 功能 物化视图SQL样例 备注 创建物化视图 （创建物化视图时，只创建了物化视图的定义，数据填充需要使用refresh materialized view name刷新物化视图数据）
说明： 同一集群内，不允许配置相同的名称。不同集群之间，可以配置相同的名称。 脚本路径 脚本的路径。路径可以是OBS文件系统的路径或虚拟机本地的路径。 OBS文件系统的路径，必须以obs://开头，以.sh结尾。例如：obs://mrs-samples/xxx.sh 虚拟机本地的
则可以使用MapPartitions，按每个分区计算结果，如： rdd.mapPartitions(records => conn.getDBConn;for(item <- records) write(item.toString); conn.close) 使用mapPartition
HDFS企业级能力增强 配置HDFS快速关闭文件功能 配置DataNode节点容量不一致时的副本放置策略 配置DataNode预留磁盘百分比 配置从NameNode支持读操作 配置NameNode黑名单功能 配置Hadoop数据传输加密 父主题： 使用HDFS
创建CDL作业 创建CDL数据同步任务作业 创建CDL数据比较任务作业 使用CDL从PgSQL同步数据到Kafka 使用CDL从PgSQL同步数据到Hudi 使用CDL从Opengauss同步数据到Hudi 使用CDL从Hudi同步数据到DWS 使用CDL从Hudi同步数据到ClickHouse
创建FlinkServer作业写入数据至Kafka消息队列 本章节适用于MRS 3.1.2及之后的版本。 操作场景 本章节介绍Kafka作为source表或者sink表的DDL定义，以及创建表时使用的WITH参数和代码示例，并指导如何在FlinkServer作业管理页面操作。 本示例以安全模式Kafka为例。
配置HBase主备集群容灾 操作场景 HBase集群容灾作为提高HBase集群系统高可用性的一个关键特性，为HBase提供了实时的异地数据容灾功能。它对外提供了基础的运维工具，包含灾备关系维护，重建，数据校验，数据同步进展查看等功能。为了实现数据的实时容灾，可以把本HBase集群
instant => '[instant]'); 参数描述 表1 参数描述 参数 描述 table_name 需要查询的表名，支持database.tablename格式 instant 需要查询的instant time时间戳 示例 call show_active_instant_detail(table
Spark SQL样例程序（Scala） 功能简介 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 代码样例 下面代码片段仅为演示，具体代码参见com.huawei.bigdata.spark.examples.FemaleInfoCollection： object
Spark SQL样例程序（Scala） 功能简介 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 代码样例 下面代码片段仅为演示，具体代码参见com.huawei.bigdata.spark.examples.FemaleInfoCollection： object
Spark应用开发简介 Spark简介 Spark是分布式批处理框架，提供分析挖掘与迭代式内存计算能力，支持多种语言（Scala/Java/Python）的应用开发。 适用以下场景： 数据处理（Data Processing）：可以用来快速处理数据，兼具容错性和可扩展性。 迭代计算（Iterative
建表时分区不要超过10万个，分区太多会影响元数据加载速度，阻塞查询 Impala元数据和分区、文件数量正相关，太多分区会导致Impala元数据占用内存过大，刷新元数据时需要扫描的分区文件就越多，极大地降低查询效率。 建表时整数类型的分区键不补前置0，例如'hour=01'等分区
e/conf/hbase-site.xml”配置文件中配置如下参数。 表1 HBase客户端操作重试超时相关配置 配置参数 描述 默认值 hbase.client.operation.timeout 客户端操作超时时间。需在配置文件中手动添加。 2147483647 ms hbase
新。 当更新字段为数值类型时，更新值需要为数值。 当更新字段为字符串类型时，更新操作不能为“-”。 样例 通过“CSV文件输入”算子，生成两个字段A和B。 源文件如下： 配置“更新域”算子，当发现值为test时，更新值，在test后面加上good。 转换后，输出A和B，结果如下：
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
