正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
从零开始使用Spark SQL Spark提供类似SQL的Spark SQL语言操作结构化数据,本章节提供从零开始使用Spark SQL,创建一个名称为src_data的表,然后在src_data表中每行写入一条数据,最后将数据存储在“mrs_20160907”集群中。再使用SQ
调度Clustering:使用可插拔的Clustering策略创建Clustering计划。 识别符合Clustering条件的文件:根据所选的Clustering策略,调度逻辑将识别符合Clustering条件的文件。 根据特定条件对符合Clustering条件的文件进行分组。
提交作业失败,报错与OBS相关如何处理? MRS集群的租户资源最小值改为0后,只能同时运行一个Spark任务吗? 作业提交参数间用空格隔开导致参数信息不被识别如何处理? Spark作业的Client模式和Cluster模式有什么区别? 如何查看MRS作业的日志? 提交作业时系统提示当前用户在Manager不存在如何处理?
登录MRS集群节点 本章节介绍如何使用弹性云服务器管理控制台上提供的远程登录(VNC方式)和如何使用密钥或密码方式(SSH方式)登录MRS集群中的节点,远程登录主要用于紧急运维场景,远程登录弹性云服务器进行相关维护操作。其他场景下,建议用户采用SSH方式登录。 如果需要使用SSH
地区与终端节点,即云服务在不同Region有不同的访问域名。 获取方式请参考终端节点及区域。 Project_Id 项目ID,在大多数API接口调用时需要配置在uri中,用以识别不同的项目。 AK/SK 访问密钥对,包含密钥ID与密钥。AK/SK用于对请求内容进行签名。 URI API接口的调用路径及参数。 请参考
对于可以压缩的数据,配置压缩算法可以有效减少磁盘的IO,从而达到提高性能的目的。 说明: 并非所有数据都可以进行有效压缩。例如一张图片的数据,因为图片一般已经是压缩后的数据,所以压缩效果有限。常用的压缩算法是SNAPPY,因为它有较好的Encoding/Decoding速度和可以接受的压缩率。
对于可以压缩的数据,配置压缩算法可以有效减少磁盘的IO,从而达到提高性能的目的。 说明: 并非所有数据都可以进行有效压缩。例如一张图片的数据,因为图片一般已经是压缩后的数据,所以压缩效果有限。常用的压缩算法是SNAPPY,因为它有较好的Encoding/Decoding速度和可以接受的压缩率。
调度Clustering:使用可插拔的Clustering策略创建Clustering计划。 识别符合Clustering条件的文件:根据所选的Clustering策略,调度逻辑将识别符合Clustering条件的文件。 根据特定条件对符合Clustering条件的文件进行分组。
海量数据存储:利用HBase实现海量数据存储,并实现毫秒级数据查询。 分布式数据查询:利用Spark实现海量数据的分析查询。 实时数据处理 实时数据处理通常用于异常检测、欺诈识别、基于规则告警、业务流程监控等场景,在数据输入系统的过程中,对数据进行处理。 例如在梯联网行业,智能电梯的数据,实时传入到MRS的流式集群中进行实时告警。
配置HetuEngine物化视图 HetuEngine物化视图概述 HetuEngine物化视图SQL示例 配置HetuEngine物化视图改写能力 配置HetuEngine物化视图推荐能力 配置HetuEngine物化视图缓存能力 配置HetuEngine物化视图的有效期与数据刷新能力
int, name text, value text); 配置“Hive输入”算子,生成三个字段A、B和C: 设置了数据连接器后,单击“自动识别”,系统将自动读取数据库中的字段,可根据需要选择添加,然后根据业务场景手动进行完善或者修正即可,无需逐一手动添加。 此操作会覆盖表格内已有数据。
int, name text, value text); 配置“Spark输入”算子,生成三个字段A、B和C: 设置了数据连接器后,单击“自动识别”,系统将自动读取数据库中的字段,可根据需要选择添加,然后根据业务场景手动进行完善或者修正即可,无需逐一手动添加。 此操作会覆盖表格内已有数据。
xml”图标如图9所示,可直接进行下一步骤操作。 图9 样例项目已作为maven项目导入 图10 Add as Maven Project 此时IDEA可将该项目识别为Maven项目。 图11 样例项目作为maven项目在IDEA中显示 设置项目使用的Maven版本。 在IntelliJ IDEA的菜单栏中,选择“File
xml”图标如图9所示,可直接进行下一步骤操作。 图9 样例项目已作为maven项目导入 图10 Add as Maven Project 此时IDEA可将该项目识别为Maven项目。 图11 样例项目作为maven项目在IDEA中显示 设置项目使用的Maven版本。 在IntelliJ IDEA的菜单栏中,选择“File
int, name text, value text); 配置“Hive输入”算子,生成三个字段A、B和C: 设置了数据连接器后,单击“自动识别”,系统将自动读取数据库中的字段,可根据需要选择添加,然后根据业务场景手动进行完善或者修正即可,无需逐一手动添加。 此操作会覆盖表格内已有数据。
int, name text, value text); 配置“Spark输入”算子,生成三个字段A、B和C: 设置了数据连接器后,单击“自动识别”,系统将自动读取数据库中的字段,可根据需要选择添加,然后根据业务场景手动进行完善或者修正即可,无需逐一手动添加。 此操作会覆盖表格内已有数据。
> Scala”。 图17 选择Scala语言 当IDEA可以识别出Scala SDK时,在设置界面,选择编译的依赖jar包,然后单击“OK”应用设置。 图18 Add Scala Support 当系统无法识别出Scala SDK时,需要自行创建。 单击“Create...”。
图解ClickHouse 父主题: ClickHouse
HetuEngine物化视图概述 HetuEngine物化视图功能适用于MRS 3.2.0及以后版本。 HetuEngine物化视图背景介绍 HetuEngine具备物化视图能力。在实际运用中,将高频访问的SQL查询和有高耗时的算子(连接, 聚合等算子)的SQL通过建立物化视图进
> Scala”。 图17 选择Scala语言 当IDEA可以识别出Scala SDK时,在设置界面,选择编译的依赖jar包,然后单击“OK”应用设置。 图18 Add Scala Support 当系统无法识别出Scala SDK时,需要自行创建。 单击“Create...”。