检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
对于可以压缩的数据，配置压缩算法可以有效减少磁盘的IO，从而达到提高性能的目的。 说明： 并非所有数据都可以进行有效压缩。例如一张图片的数据，因为图片一般已经是压缩后的数据，所以压缩效果有限。常用的压缩算法是SNAPPY，因为它有较好的Encoding/Decoding速度和可以接受的压缩率。
对于可以压缩的数据，配置压缩算法可以有效减少磁盘的IO，从而达到提高性能的目的。 说明： 并非所有数据都可以进行有效压缩。例如一张图片的数据，因为图片一般已经是压缩后的数据，所以压缩效果有限。常用的压缩算法是SNAPPY，因为它有较好的Encoding/Decoding速度和可以接受的压缩率。
又有Hive的临时表与Hive的持久化表，因此在Spark中允许三个层次的同名数据表。 查询的时候，Spark SQL优先查看是否有Spark的临时表，再查找当前DB的Hive临时表，最后查找当前DB的Hive持久化表。 图1 Spark表管理层次 当Session退出时，用户操
又有Hive的临时表与Hive的持久化表，因此在Spark中允许三个层次的同名数据表。 查询的时候，Spark SQL优先查看是否有Spark的临时表，再查找当前DB的Hive临时表，最后查找当前DB的Hive持久化表。 图1 Spark表管理层次 当Session退出时，用户操
访问FusionInsight Manager系统，进行查询、添加、删除等操作。 流程分解 根据上述的业务场景进行功能分解，需要开发的功能点如表1所示。 表1 在Manager中开发的功能 序号 步骤 代码实现 1 添加用户 请参见添加Manager用户。 2 查找用户 请参见查找Manager用户。 3 修改用户
from mycall where `_hoodie_commit_time`>'20210308211131'") // 开始查询，和hive增量查询语句一样 .show(100, false) 读优化视图：cow表读优化视图等同于实时视图。 父主题： Hudi读操作
* from mycall where `_hoodie_commit_time`>'20210308211131'")// 开始查询，和hive增量查询语句一样 .show(100, false) 读优化视图：cow表读优化视图等同于实时视图。 父主题： Hudi读操作
配置HetuEngine物化视图缓存能力 配置HetuEngine物化视图的有效期与数据刷新能力 配置HetuEngine智能物化视图能力 查看HetuEngine物化视图自动化任务 父主题： 使用HetuEngine
由于HBase的可扩展性，在查询表的时候，默认情况下会匹配被查询列的所有版本的值，即使被删除或被修改的值也可以查询出来。对于命中列失败的行（即在某一行中不存在该列），HBase会将该行查询出来。 如果用户仅需查询该表的最新值和命中列成功的行，可使用如下查询语句： scan '<table_name>'
由于HBase的可扩展性，在查询表的时候，默认情况下会匹配被查询列的所有版本的值，即使被删除或被修改的值也可以查询出来。对于命中列失败的行（即在某一行中不存在该列），HBase会将该行查询出来。 如果用户仅需查询该表的最新值和命中列成功的行，可使用如下查询语句： scan '<table_name>'
DESC查询表结构 本章节主要介绍ClickHouse查询表结构的SQL基本语法和使用说明。 基本语法 DESC|DESCRIBE TABLE [database_name.]table [INTO OUTFILE filename] [FORMAT format] 使用示例 例如查询表t1的表结构：
执行如下命令重启进程： su - omm ps -ef|grep =acs （查找acs进程PID） kill -9 PID （PID替换为实际的ID，结束acs进程） 等待几分钟后执行命令ps -ef|grep =acs查询进程是否已经自动启动。 替换executor用户的keytab文件。
mvschema是schema的名称 查询物化视图的创建语句 查询mv.default.mv1的物化视图创建语句 show create materialized view mv.default.mv1; mv1是物化视图的名称 查询物化视图 查询mv.default.mv1的数据 select
在Linux环境中查看Spark程序调测结果 操作场景 Spark应用程序运行完成后，可通过如下方式查看应用程序的运行情况。 通过运行结果数据查看应用程序运行情况。 登录Spark WebUI查看应用程序运行情况。 通过Spark日志获取应用程序运行情况。 操作步骤 查看Spark应用运行结果数据。
检查DBService服务状态。 在FusionInsight Manager的服务列表中，查看DBService运行状态是否为“良好”。 是，执行5。 否，执行2。 在告警列表中，查看是否有“ALM-27001 DBService服务不可用”告警产生。 是，执行3。 否，执行5。
Manager的服务列表中，查看Yarn运行状态是否为“良好”。 是，执行5。 否，执行2。 在告警列表中，查看是否有“ALM-18000 Yarn服务不可用”告警产生。 是，执行3。 否，执行5。 参考ALM-18000 Yarn服务不可用的处理步骤处理该故障。 等待几分钟后，在告警列表中查看“Oo
检查ZooKeeper服务状态。 在FusionInsight Manager的服务列表中，查看ZooKeeper运行状态是否为“良好”。 是，执行5。 否，执行2。 在告警列表中，查看是否有“ALM-13000 ZooKeeper服务不可用”告警产生。 是，执行3。 否，执行5。
Manager的服务列表中，查看HDFS运行状态是否为“良好”。 是，执行5。 否，执行2。 在告警列表中，查看是否有“ALM-14000 HDFS服务不可用”告警产生。 是，执行3。 否，执行5。 参考ALM-14000 HDFS服务不可用的处理步骤处理该故障。 等待几分钟后，在告警列表中查看“Oo
步骤2：准备测试数据：准备用于进行分析的源数据及程序，并上传至OBS。 步骤3：创建并运行Flink作业：在MRS集群中创建Flink作业并运行。 步骤4：查看作业执行结果：查看数据分析结果。 图2 操作流程 步骤1：创建MRS集群 创建并购买一个包含有Flink组件的MRS集群，详情请参见购买自定义集群。
在Linux环境中查看Spark程序调测结果 操作场景 Spark应用程序运行完成后，可通过如下方式查看应用程序的运行情况。 通过运行结果数据查看应用程序运行情况。 登录Spark WebUI查看应用程序运行情况。 通过Spark日志获取应用程序运行情况。 操作步骤 查看Spark应用运行结果数据。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
