检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
的接口函数有所了解。 开发思路 作为存储引擎，通常情况下会和计算引擎一起协同工作： 首先在计算引擎上（比如Impala）用SQL语句创建表对象； 然后通过Kudu的驱动往这个表里写数据； 于此同时可以在计算引擎上直接查询这个表里的数据。 在本开发程序示例中，为了不引入额外的计算引擎，将以Kudu为主，全部通过Java
经过查询发现是ApplicationMaster（以下简称AM）反应缓慢，最终超时失败。 此任务的问题是，task数量变多时，AM管理的对象也线性增长，因此就需要更多的内存来管理。AM默认分配的内存堆大小是1GB。 操作步骤 通过调大如下的参数来进行AM调优。 参数入口： 在Yarn客户端的“mapred-site
经过查询发现是ApplicationMaster（以下简称AM）反应缓慢，最终超时失败。 此任务的问题是，task数量变多时，AM管理的对象也线性增长，因此就需要更多的内存来管理。AM默认分配的内存堆大小是1GB。 操作步骤 通过调大如下的参数来进行AM调优。 参数入口： 在Yarn客户端的“mapred-site
MRS 3.x及之后版本 登录FusionInsight Manager。 选择“系统 > 对接 > SNMP”。 开启“SNMP服务”开关。 MRS 3.x之前版本 登录MRS Manager，单击“系统设置”。 在“配置”区域“监控和告警配置”下，开启“SNMP配置”开关。 根据表1所示的说明填写对接参数。
parquet.compression.codec”配置项只适用于设置非分区表的parquet压缩格式。 配置参数 参数入口： 在Manager系统中，选择“集群 > 服务 > Spark2x > 配置”，单击“全部配置”，在搜索框中输入参数名称。 表1 参数介绍 参数 描述 默认值 spark
导入并配置Hive JDBC样例工程 操作场景 为了运行MRS产品Hive组件的JDBC接口样例代码，需要完成下面的操作。 以在Windows环境下开发JDBC方式连接Hive服务的应用程序为例。 导入jdbc-example样例工程之后，需要将代码中USER_NAME = "x
导入并配置Hive JDBC样例工程 操作场景 为了运行MRS产品Hive组件的JDBC接口样例代码，需要完成下面的操作。 本章节以在Windows环境下开发JDBC方式连接Hive服务的应用程序为例。 操作步骤 参考获取MRS应用开发样例工程，获取样例代码解压目录中“src\h
useKeyTab=true keyTab="/opt/client/user.keytab" principal="hivetest@系统域名" useTicketCache=false storeKey=true debug=true; };
required useKeyTab=true keyTab = "{LocalPath}/user.keytab" principal="super@<系统域名>" useTicketCache=false debug=false; }; 配置描述 在Spark客户端的“spark-defaults
id乱码，导致任务卡住问题 Hive中增加自研的接口 解决map.xml无法读取的问题 Hive har特性优化 解决ZK脏数据导致Yarn服务不可用问题 OBS包升级 JDK版本升级 解决Yarn的ResourceManager内存泄漏问题 增加对调用ECS getSecuritykey接口异常的监控
securityConfig = ";saslQop=auth-conf;auth=KERBEROS;principal=spark2x/hadoop.<系统域名>@<系统域名>;user.principal=sparkuser;user.keytab=/opt/FIclient/user.keytab;";
MRS 1.5.1.4补丁说明 补丁基本信息 表1 补丁基本信息 补丁号 MRS 1.5.1.4 发布时间 2018-08-23 解决的问题 Spark组件问题： 当carbon表元数据文件较大时导致的查询慢问题。 修复carbon在某些场景下，对数据进行压缩时，出现转换为SHORT_INT失败的问题。
配置并导入JDBC样例工程 操作场景 为了运行Doris组件的JDBC接口样例代码，需要完成下面的操作。 操作步骤 参考获取MRS应用开发样例工程，获取样例代码解压目录中“src\doris-examples”目录下的样例工程文件夹“doris-jdbc-example”。 导入样例工程到IntelliJ
table carbon01; 上述命令将从物理上删除所有DELETE SEGMENT命令删除的segment和合并后的旧的segment。 系统响应 可在driver日志中查看命令运行成功或失败。 父主题： DML
此采样方法将表划分为数据的逻辑段，并按此粒度对表进行采样。此采样方法要么从特定数据段中选择所有行，要么跳过它（基于采样百分比与运行时计算的随机值之间的比较）。系统采样中行的选择依赖于使用的connector。例如，如果使用Hive数据源，这将取决于数据在HDFS上的布局。这种采样方法不能保证独立的抽样概率。
配置并导入Manager样例工程 操作步骤 参考获取MRS应用开发样例工程，获取样例代码解压目录中“src”目录下的样例工程文件夹“manager-examples”到本地。 在应用开发环境中，导入样例工程到IntelliJ IDEA开发环境。 打开IntelliJ IDEA，选择“File
securityConfig = ";saslQop=auth-conf;auth=KERBEROS;principal=spark2x/hadoop.<系统域名>@<系统域名>;user.principal=sparkuser;user.keytab=/opt/FIclient/user.keytab;";
<passwd>：hive用户的密码。 <export_from>：元数据在目的集群的HDFS地址。 命令中如果携带认证密码信息可能存在安全风险，在执行命令前建议关闭系统的history命令记录功能，避免信息泄露。 HBase表重建 重启目的集群的HBase服务，使数据迁移生效。在启动过程中，HBase会加
参数名称 参数含义 ServiceName 产生告警的服务名称。 RoleName 产生告警的角色名称。 HostName 产生告警的主机名。 对系统的影响 无法同步集群中HBase的数据到备集群，导致主备集群数据不一致。 可能原因 备集群HBase服务异常。 网络异常。 处理步骤 观察告警是否自动修复。
table carbon01; 上述命令将从物理上删除所有DELETE SEGMENT命令删除的segment和合并后的旧的segment。 系统响应 可在driver日志中查看命令运行成功或失败。 父主题： CarbonData语法参考
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
