检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
之间的数据访问鸿沟。为了解决这个问题，提出MemArts分布式客户端缓存，MemArts部署在计算侧的VM中，通过智能预取OBS上的数据来加速计算任务的执行。 图1 MemArtsCC结构图 表1 MemArtsCC结构图说明 名称 说明 CC SDK 提供OBSA（OBSA，hadoop客户端插件）
me}/${examplesRoot}/apps/spark2x/lib/OoizeSparkHBase-1.0.jar</jar> 进入项目根目录，比如“D:\sample_project\src\oozie-examples\ooziesecurity-examples\Oo
me}/${examplesRoot}/apps/spark2x/lib/OoizeSparkHBase-1.0.jar</jar> 进入项目根目录，比如“D:\sample_project\src\oozie-examples\oozienormal-examples\Oozi
me}/${examplesRoot}/apps/spark2x/lib/OoizeSparkHBase-1.0.jar</jar> 进入项目根目录，比如“D:\sample_project\src\oozie-examples\ooziesecurity-examples\Oo
me}/${examplesRoot}/apps/spark2x/lib/OoizeSparkHBase-1.0.jar</jar> 进入项目根目录，比如“D:\sample_project\src\oozie-examples\oozienormal-examples\OozieSparkHBaseExample”
StarRocks通过前缀索引 (Prefix Index) 和列级索引，能够快速找到目标行所在数据块的起始行号。 加速处理 StarRocks通过预先聚合、分区分桶、物化视图、列级索引等机制实现数据的加速处理。 数据模型 StarRocks支持四种数据模型，分别是明细模型（Duplicate Key
/app-logs和/apps目录在HDFS文件系统中，/mnt/obs/目录在OBS中。 用Alluxio加速数据访问 由于Alluxio利用内存存储数据，它可以加速数据的访问。例如： 上传一个文件test_data.csv（文件是一份记录了食谱的样本）到obs-mrstes
refresh即可增量更新元数据。 定时使用compute increment stats <table_name>刷新常用表的统计信息，加速查询 Impala依赖表统计信息对查询消耗的资源做预估，准确的统计信息有利于Impala更合理地解析执行计划，分配资源。 定时进行小文件合
MRS集群相关高级功能参数，具体请参考表5。 - 企业项目 选择集群所属的企业项目，如需使用企业项目，请先通过“企业 > 项目管理”服务创建。 企业项目所在的企业管理控制台以面向企业资源管理为出发点，帮助企业以公司、部门、项目等分级管理方式实现企业云上的人员、资源、权限、财务的管理。
此参数是session级别设置，表示可并发执行的fragment数量，对CPU消耗较大，因此一般情况下不需要设置此参数。如果需要设置此参数来加速查询性能，必须遵循以下规则： 切勿设置该参数为全局生效，禁止使用set global方式进行设置。 设置参数值建议为偶数2或4（最大值不要超过单节点CPU核数的一半）。
使用操作Avro格式数据章节中创建的HBase数据表。 开发思路 设置scan的规则，例如：setCaching。 使用特定的规则扫描Hbase表。 打包项目 通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 将打包生成的jar包上传到Spark客户
使用操作Avro格式数据章节中创建的HBase数据表。 开发思路 设置scan的规则，例如：setCaching。 使用特定的规则扫描Hbase表。 打包项目 通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中调测Spark应用。 将打包生成的jar包上传到Spark客户端所在
本章节介绍如何使用Spark操作Hudi执行插入数据、查询数据、更新数据、增量查询、特定时间点查询、删除数据等操作。 详细代码请参考样例代码。 打包项目 通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中调测Spark应用。 运行Python样例代码无需通过Maven打包。
在default数据库下创建child表。 把“/home/data”的数据加载进child表中。 查询child表中的数据。 删除child表。 打包项目 通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中调测Spark应用。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录（例如“
本章节介绍如何使用Spark操作Hudi执行插入数据、查询数据、更新数据、增量查询、特定时间点查询、删除数据等操作。 详细代码请参考样例代码。 打包项目 通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 运行Python样例代码无需通过Maven打包。
、增量查询、特定时间点查询、删除数据等操作。 详细代码请参考样例代码。 打包项目 将user.keytab、krb5.conf 两个文件上传客户端所在服务器上。 通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 编译打包前，样例代码中的user
、增量查询、特定时间点查询、删除数据等操作。 详细代码请参考样例代码。 打包项目 将user.keytab、krb5.conf 两个文件上传客户端所在服务器上。 通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中调测Spark应用。 编译打包前，样例代码中的user
、部门、项目等分级管理方式实现企业云上的人员、资源、权限、财务的管理。MRS支持已开通企业项目服务的用户在创建集群时为集群配置对应的项目，然后使用企业项目管理对MRS上的资源进行分组管理。此特性适用于客户针对多个资源进行分组管理，并对相应的企业项目进行诸如权限控制、分项目费用查看等操作的场景。
‘2020-11-03’; 在分组、join等操前做数据过滤，减少计算的数据量。 【效果对比】 用PREWHERE替代WHERE，优先过滤数据，加速查询。 PREWHERE相对于WHERE在执行时的区别：首先只读取PREWHERE表达式所指定的列，根据条件做数据过滤，再根据过滤后的数据
数据（minmax、set）， 或者是保留计算后的中间数据（bloomfilter）。在查询时，选择忽略加载不会包含结果的数据块，从而达到加速查询的效果。 索引定义 INDEX index_name expr TYPE type（...） GRANULARITY granularity_value
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
