检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Spark从Hive读取数据再写入HBase样例程序（Scala） 功能介绍 在Spark应用中，通过使用Spark调用Hive接口来操作hive表，然后把Hive表的数据经过分析后写到HBase表。 代码样例 下面代码片段仅为演示，具体代码参见：com.huawei.bigdata
Spark从Hive读取数据再写入HBase样例程序（Scala） 功能介绍 在Spark应用中，通过使用Spark调用Hive接口来操作hive表，然后把Hive表的数据经过分析后写到HBase表。 代码样例 下面代码片段仅为演示，具体代码参见：com.huawei.bigdata
登录CDLService WebUI界面 操作场景 MRS集群安装CDL组件后，用户可以通过CDL的图形化界面进行数据连接管理和可视化作业编排等。 本任务指导用户在MRS集群中访问CDL WebUI。 Internet Explorer浏览器可能存在兼容性问题，建议使用Google
添加跨集群HetuEngine数据源 本章节指导用户在安全模式集群下通过HSConsole界面添加另一个HetuEngine数据源。 添加跨集群HetuEngine数据源步骤 获取他域HetuEngine集群的代理用户的“user.keytab”文件。 登录他域HetuEngine集群FusionInsight
配置HetuEngine物化视图改写能力 开启物化视图改写能力 HetuEngine支持在System级别或者Session级别开启物化视图改写能力，开启方法如下所示： Session级别： 参考快速使用HetuEngine访问Hive数据源在HetuEngine客户端执行set
配置创建Hive内部表时不能指定Location 操作场景 此功能在MRS 3.x之前版本适用于Hive，Spark。在MRS3.x及后续版本适用于Hive，Spark2x。 开启此功能后，在创建Hive内部表时，不能指定location。即表创建成功之后，表的location路
Oozie日志介绍 日志描述 日志路径：Oozie相关日志的默认存储路径为： 运行日志：“/var/log/Bigdata/oozie”。 审计日志：“/var/log/Bigdata/audit/oozie”。 日志归档规则：Oozie的日志分三类：运行日志、 脚本日志和审计日
Oozie日志介绍 日志描述 日志路径：Oozie相关日志的默认存储路径为： 运行日志：“/var/log/Bigdata/oozie”。 审计日志：“/var/log/Bigdata/audit/oozie”。 日志归档规则：Oozie的日志分三类：运行日志、 脚本日志和审计日
MRS集群类型介绍 MRS包含了多种大数据组件，用户可基于企业大数据场景的业务场景、数据类型、可靠性要求以及资源预算等要求合理选择集群类型。 用户可以基于系统预置的集群模板快速购买一个集群，也可自行选择组件列表及高级配置特性，自定义购买集群。 表1 MRS集群类型 集群类型 场景介绍
Spark同步HBase数据到CarbonData开发思路 场景说明 数据实时写入HBase，用于点查业务，数据每隔一段时间批量同步到CarbonData表中，用于分析型查询业务。 运行前置操作 安全模式下该样例代码需要读取两个文件（user.keytab、krb5.conf）。user
查看HetuEngine实例监控页面 在HetuEngine的WebUI界面，可以查看指定业务的详细信息，包括每个SQL的执行情况。 查看HetuEngine实例监控步骤 使用可访问HetuEngine WebUI界面的管理员用户登录FusionInsight Manager，选择“集群
Spark同步HBase数据到CarbonData开发思路 场景说明 数据实时写入HBase，用于点查业务，数据每隔一段时间批量同步到CarbonData表中，用于分析型查询业务。 运行前置操作 安全模式下该样例代码需要读取两个文件（user.keytab、krb5.conf）。user
查看MRS集群组件监控指标 用户在日常使用中，可以在MRS管理所有组件（含角色实例）的状态及指标信息。状态信息包括运行、健康、配置及角色实例状态统计。指标信息为各组件的主要监控指标项。 查看MRS集群组件监控指标前提条件 如果通过MRS管理控制台操作，需要已完成IAM用户同步（在
MapReduce访问多组件样例代码 功能介绍 主要分为三个部分： 从HDFS原文件中抽取name信息，查询HBase、Hive相关数据，并进行数据拼接，通过类MultiComponentMapper继承Mapper抽象类实现。 获取拼接后的数据取最后一条输出到HBase、HDF
CarbonData性能调优常见配置参数 操作场景 CarbonData的性能与配置参数相关，本章节提供了能够提升性能的相关配置介绍。 操作步骤 用于CarbonData查询的配置介绍，详情请参见表1和表2。 表1 Shuffle过程中，启动Task的个数 参数 spark.sql
ALM-45440 ClickHouse副本间不一致 告警解释 当ClickHouse副本数大于1时，系统周期性对复制表进行检查，若数据不同步，则发送告警。副本间所有复制表数据同步后，告警清除。 告警属性 告警ID 告警级别 是否可自动清除 45440 次要 是 告警参数 参数名称
配置Hive业务使用其他组件的用户权限 操作场景 Hive业务还可能需要关联使用其他组件，例如HQL语句触发MapReduce任务需要设置Yarn权限，或者Hive over HBase的场景需要HBase权限。以下介绍Hive关联Yarn和Hive over HBase两个场景下的权限操作。
Geospatial函数 以ST_前缀开头的HetuEngine Geospatial功能支持SQL、MM规范，并符合Open Geospatial Consortium（OGC）的OpenGIS规范。因此，许多HetuEngine Geospatial功能要求或更准确地说是假设
MapReduce访问多组件样例代码 功能介绍 主要分为三个部分： 从HDFS原文件中抽取name信息，查询HBase、Hive相关数据，并进行数据拼接，通过类MultiComponentMapper继承Mapper抽象类实现。 获取拼接后的数据取最后一条输出到HBase、HDF
CarbonData性能调优常见配置参数 操作场景 CarbonData的性能与配置参数相关，本章节提供了能够提升性能的相关配置介绍。 操作步骤 用于CarbonData查询的配置介绍，详情请参见表1和表2。 表1 Shuffle过程中，启动Task的个数 参数 spark.sql
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
