检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Json函数和运算符 Cast to JSON SELECT CAST(9223372036854775807 AS JSON); -- JSON '9223372036854775807' Cast from JSON SELECT CAST(JSON '[1,23,456]'
实现方案 多租户模式的HA方案原理如图1所示。 图1 Spark JDBCServer多租户 ProxyServer在启动时，向ZooKeeper注册自身消息，在指定目录中写入节点信息，节点信息包含了该实例对应的IP，端口，版本号和序列号等信息（多节点信息之间以逗号隔开）。 多租户模式下
实现方案 多主实例模式的HA方案原理如下图所示。 图1 Spark JDBCServer HA JDBCServer在启动时，向ZooKeeper注册自身消息，在指定目录中写入节点，节点包含了该实例对应的IP，端口，版本号和序列号等信息（多节点信息之间以逗号隔开）。 示例如下： [serverUri=192
MRS 2.1.0.1补丁说明 补丁基本信息 表1 补丁基本信息 补丁号 MRS 2.1.0.1 发布时间 2020-02-12 解决的问题 MRS 2.1.0.1 修复问题列表： MRS Manager 优化V2作业提交hive sql返回结果、解决委托token提交V2作业失败问题。
编译并调测Flink应用 操作场景 在程序代码完成开发后，编译jar包并上传至Linux客户端环境中运行应用。使用Scala或Java语言开发的应用程序在Flink客户端的运行步骤是相同的。 基于YARN集群的Flink应用程序不支持在Windows环境下运行，只支持在Linux环境下运行。
配置内存 操作场景 Spark是内存计算框架，计算过程中内存不够对Spark的执行效率影响很大。可以通过监控GC（Garbage Collection），评估内存中RDD的大小来判断内存是否变成性能瓶颈，并根据情况优化。 监控节点进程的GC情况（在客户端的conf/spark-defaults
配置Hudi通过Guardian访问OBS 参考配置Guardian服务对接OBS完成Guardian对接OBS后，即可在spark-shell中创建Hudi COW表存储到OBS中。 Hudi对接OBS 使用客户端安装用户登录客户端安装节点。 配置环境变量。 source 客户端安装目录/bigdata_env
多流Join场景支持配置表级别的TTL时间 本章节适用于MRS 3.3.0及以后版本。 在Flink双流Join场景下，如果Join的左表和右表其中一个表数据变化快，需要较短时间的过期时间，而另一个表数据变化较慢，需要较长时间的过期时间。目前Flink只有表级别的TTL（Time
离线Compaction配置 对于MOR表的实时业务，通常设置在写入中同步生成compaction计划，因此需要额外通过DataArts或者脚本调度SparkSQL去执行已经产生的compaction计划。 执行参数 set hoodie.compact.inline = true;
bloom.num_entries 存储在布隆过滤器中的条目数。 假设maxParquetFileSize为128MB，averageRecordSize为1024B，因此，一个文件中的记录总数约为130K。 默认值（60000）大约是此近似值的一半。 注意： 将此值设置的太低，将产生
查看Flink应用运行结果 Flink应用程序运行完成后，您可以查看运行结果数据，也可以通过Flink WebUI查看应用程序运行情况。 操作步骤 查看Flink应用运行结果数据。 当用户查看执行结果时，需要在Flink的web页面上查看Task Manager的Stdout日志。
使用Jupyter Notebook对接MRS Spark 应用场景 在MRS服务中可以配合Jupyter Notebook使用PySpark，能够提高机器学习、数据探索和ETL应用开发效率。 本实践指导用户如何在MRS集群中配置Jupyter Notebook来使用Pyspark。
编包并运行Spark应用 操作场景 在程序代码完成开发后，您可以将打包好的jar包上传至Linux客户端环境中运行应用。使用Scala或Java语言开发的应用程序在Spark客户端的运行步骤是一样的。 Spark应用程序只支持在Linux环境下运行，不支持在Windows环境下运行。
开启TableStatus多版本特性下，最新tablestatus文件丢失或损坏，如何恢复 问题 开启TableStatus多版本特性下，最新的tablestatus文件丢失或其他异常原因损坏的情况下，如何恢复？ 回答 使用当前可得的最近的tablestatus文件进行恢复，分为如下两个场景来进行恢复：
HyperLogLog函数 HetuEngine使用HyperLogLog数据结构实现rox_distinct（）函数。 数据结构 HyperLogLog（hll）是一种统计基数的算法。它实际上不会存储每个元素出现的次数，它使用的是概率算法，通过存储元素的32位hash值的第一个
return tuple2.value(); } }); // 汇总计算字数的总时间。 JavaPairDStream<String, Integer> wordCounts = lines.mapToPair( new PairFunction<String
return tuple2.value(); } }); // 汇总计算字数的总时间。 JavaPairDStream<String, Integer> wordCounts = lines.mapToPair( new PairFunction<String
添加删除MRS集群组件 创建MRS集群时，用户可自行选择集群内包含的服务组件，集群创建成功后，管理员可通过管理控制台手动为MRS添加新的组件或者已删除的组件。 仅MRS 3.1.2及之后的普通版本和MRS 3.1.2-LTS.3及之后LTS版本的自定义类型集群支持添加和删除组件。
Hive CBO原理介绍 Hive CBO原理介绍 CBO，全称是Cost Based Optimization，即基于代价的优化器。 其优化目标是： 在编译阶段，根据查询语句中涉及到的表和查询条件，计算出产生中间结果少的高效join顺序，从而减少查询时间和资源消耗。 Hive中实现CBO的总体过程如下：
创建FlinkServer作业写入数据至Kafka消息队列 本章节适用于MRS 3.1.2及之后的版本。 操作场景 本章节介绍Kafka作为source表或者sink表的DDL定义，以及创建表时使用的WITH参数和代码示例，并指导如何在FlinkServer作业管理页面操作。 本示例以安全模式Kafka为例。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
