检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
单击“Add New Policy”，为2新建的用户组添加相应OBS路径的“Read”和“Write”权限，OBS目录若不存在则需要提前创建，且不允许带通配符*。 图1 为Hudi用户组赋予OBS路径读和写权限 父主题： MRS集群服务对接OBS示例
Spark2x常见问题 Spark Core SQL和DataFrame Spark Streaming 访问Spark应用获取的restful接口信息有误 为什么从Yarn Web UI页面无法跳转到Spark Web UI界面 HistoryServer缓存的应用被回收，导致此类应用页面访问时出错
SparkSQL建表参数规范 规则 建表必须指定primaryKey和preCombineField。 Hudi表提供了数据更新的能力和幂等写入的能力，该能力要求数据记录必须设置主键用来识别重复数据和更新操作。不指定主键会导致表丢失数据更新能力，不指定preCombineField会导致主键重复。
在用于数据存储的catalog和mv catalog中提前创建好。 不要删除用于存储的catalog中存在的物化视图数据表。 创建物化视图时，建议查询中不要包含Order By。 创建物化视图时，查询语句不要包含子查询和子查询join，若包含子查询和子查询join需使用with子查询代替。
TABLESAMPLE 有BERNOULLI和SYSTEM两种采样方法。 这两种采样方法都不允许限制结果集返回的行数。 BERNOULLI 每一行都将基于指定的采样率选择到采样表中。当使用Bernoulli方法对表进行采样时，将扫描表的所有物理块并跳过某些行（基于采样百分比和运行时计算的随机值之间的
<PHOENIX_HBASE_VERSION> <MRS_VERSION> <IPs>”(IP为HBase安装节点的IP，即所有Master和Core节点的IP，并以当前集群实际IP为准)。例如脚本如下所示： #!/bin/bash PHOENIX_HBASE_VERSION=$1
Hive企业级能力增强 配置Hive表不同分区分别存储至OBS和HDFS 配置Hive目录旧数据自动移除至回收站 配置Hive插入数据到不存在的目录中 配置创建Hive内部表时不能指定Location 配置用户在具有读和执行权限的目录中创建外表 配置基于HTTPS/HTTP协议的REST接口
DL命令。为Mapreduce提供读写接口，提供Hive命令行接口来进行数据定义和元数据查询。基于MRS的HCatalog功能，Hive、Mapreduce开发人员能够共享元数据信息，避免中间转换和调整，能够提升数据处理的效率。 WebHCat WebHCat运行用户通过Rest
DL命令。为MapReduce提供读写接口，提供Hive命令行接口来进行数据定义和元数据查询。基于Hive的HCatalog功能，Hive、MapReduce开发人员能够共享元数据信息，避免中间转换和调整，能够提升数据处理的效率。 WebHCat WebHCat运行用户通过Rest
Language语言操作结构化数据存储服务和基本的数据分析服务。 ZooKeeper 提供分布式、高可用性的协调服务能力。帮助系统避免单点故障，从而建立可靠的应用程序。 KrbServer 密钥的管理中心，负责票据的分发。 Yarn 资源管理系统，它是一个通用的资源模块，可以为各类应用程序进行资源管理和调度。 DBService
Manager服务期间会引起服务暂时不可用，滚动重启服务不断服。 MRS 2.1.0.9补丁安装后，需要重新下载安装全量的客户端，包含Master节点的原始客户端和虚拟私有云的其他节点使用的客户端（即您自行搭建的客户端）。 主备Master节点的原始客户端全量更新，请参见更新客户端配置（2.x及之前版本）。
Manager服务期间会引起服务暂时不可用，滚动重启服务不断服。 MRS 2.1.0.10补丁安装后，需要重新下载安装全量的客户端，包含Master节点的原始客户端和虚拟私有云的其他节点使用的客户端（即您自行搭建的客户端）。 主备Master节点的原始客户端全量更新，请参见更新客户端配置（2.x及之前版本）。
为MRS集群开放安全组规则。在集群Master节点和Core节点的安全组添加安全组规则使弹性云服务器可以访问集群，具体请参考配置安全组规则。 修改导入样例的“krb5.conf”中"kdc"、"admin_server"和“kpasswd_server”三个参数的ip，使其对
job.setReducerClass(MultiComponentReducer.class); // 配置数据输入路径和输出路径 FileInputFormat.addInputPath(job, new Path(baseDir, INPUT_DIR_NAME
QAS磁盘容量不足 本章节适用于MRS 3.3.0及以后版本。 告警解释 系统按60秒周期检测HetuEngine QAS磁盘空间使用率，并把实际磁盘使用率和阈值相比较。磁盘使用率默认提供一个阈值范围。当检测到磁盘使用率高于阈值时产生该告警。 用户可通过“运维 > 告警 > 阈值设置”，在服务列表下面，选择“HetuEngine
件”，根据待安装客户端节点的节点类型选择正确的平台类型后（x86选择x86_64，ARM选择aarch64）单击“确定”，等待客户端文件包生成后根据浏览器提示下载客户端到本地并解压。 例如，客户端文件压缩包为“FusionInsight_Cluster_1_Services_Client
name' = 'hadoop.系统域名' ); SELECT * FROM KafkaSource; 不能同时设置“topic-pattern”和“topic”配置项 topic-pattern：主题模式，用于source表，可使用正则表达式的主题名称。 【示例】以下source表将订
var hiveValue = iteratorArray(i).getInt(1) // 根据列簇和列，获取hbase值 val hbaseValue = Bytes.toString(resultData.getValue(columnFamily
在Windows中调测Impala JDBC应用 运行样例。 导入和修改样例后，即可在开发环境中，右击“ExampleMain.java”，选择“ExampleMain.main()”运行对应的应用程序工程。 使用Windows访问MRS集群来操作Impala，有如下两种方式。
的JVM最大使用内存 set mapred.child.java.opts=-Xms1024M -Xmx3584M;//此参数为全局参数，即对Map和Reduce统一设置 参数设置只对当前session有效。 父主题： 使用Hive
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
