检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
【Hue WedUI】Hue（主）无法打开web网页 问题背景与现象 访问Hue（主）的WebUI界面提示如下： Service Unavailable The server is temporarily unable to service your request due to
加速TTL操作 ClickHouse触发TTL的时候，对CPU和内存会存在较大消耗和占用。 登录FusionInsight Manager界面，选择“集群 > ClickHouse > 配置 > 全部配置 > ClickHouseServer > 自定义 > clickhouse
在Hue WebUI使用SparkSql编辑器 操作场景 用户需要使用图形化界面在集群中执行SparkSql语句时，可以通过Hue完成任务。 配置Spark2x 使用SparkSql编辑器之前需要先修改Spark2x配置。 进入Spark2x的全部配置页面，具体操作请参考修改集群服务配置参数。
加速Merge操作 加速后台任务，需要优先调整Zookeeper服务配置，否则Zookeeper会因为znode等资源不足，导致ClickHouse服务异常，后台任务异常。 调整Zookeeper配置：登录FusionInsight Manager界面，选择“集群 > Zookeeper
配置外网客户端访问Kafka Broker 本章节适用于MRS 3.2.0及之后版本。 操作场景 外网环境Kafka客户端访问部署在内网的Kafka Broker，需开启Kafka内外网分流访问。 前提条件 Broker所在节点同时具有内网IP和外网IP，Broker绑定在内网I
典型场景：从SFTP服务器导入数据到Hive 操作场景 该任务指导用户使用Loader将数据从SFTP服务器导入到Hive。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业中指定的Hive表的权限。 获取SFTP服务器使用的用户和密码，
MinHash用于估计两个集合的Jaccard相似系数。它通常用于数据挖掘，用于大规模检测近乎相同的网页。通过使用这些信息，搜索引擎有效地避免了在搜索结果中显示两个几乎相同的网页。 以下示例展示了如何使用Set Digest函数来简单估计文本之间的相似性。通过使用函数ngrams
ClickHouse加速TTL操作调优 ClickHouse触发TTL的时候，对CPU和内存会存在较大消耗和占用。 登录FusionInsight Manager界面，选择“集群 > ClickHouse > 配置 > 全部配置 > ClickHouseServer > 自定义 >
on_xxx/jobs/），其中的<hostname>没有在Windows系统的hosts文件中添加域名信息，导致DNS查找失败无法显示此网页。 解决措施： 建议用户使用FusionInsight代理去访问Spark JobHistory页面，即单击如图2中蓝框所示的Spark WebUI的链接。
ClickHouse加速Merge调优 加速后台任务，需要优先调整ZooKeeper服务配置，否则ZooKeeper会因为znode等资源不足，导致ClickHouse服务异常，后台任务异常。 调整Zookeeper配置：登录FusionInsight Manager界面，选择“集群
on_xxx/jobs/），其中的<hostname>没有在Windows系统的hosts文件中添加域名信息，导致DNS查找失败无法显示此网页。 解决措施： 建议用户使用FusionInsight代理去访问Spark JobHistory页面，即单击如图2中蓝框所示的Spark WebUI的链接。
如何通过集群外的节点访问MRS集群？ 创建集群外Linux操作系统ECS节点访问MRS集群 创建一个集群外ECS节点，具体请参考购买弹性云服务器。 ECS节点的“可用区”、“虚拟私有云”、“安全组”，需要和待访问集群的配置相同。 在VPC管理控制台，申请一个弹性IP地址，并与ECS绑定。
获取MRS二次开发样例工程 通过Flink分析网页停留时间 通过HBase管理企业用户信息 HDFS文件操作 Hive数据分析应用 Impala应用开发 Kafka消息发布及订阅 Kudu应用开发 MapReduce应用开发 Oozie离线分析网站日志 通过Spark分析网页停留时间 Storm动态单词统计
WebUI页面报错“Proxy Error” 【Hue WebUI】集群未安装Hive服务时Hue原生页面无法正常显示 【Hue WedUI】Hue（主）无法打开web网页 【Ranger WebUI】新用户修改完密码后无法登录Ranger WebUI界面 【Tez WebUI】访问Tez WebUI界面报错404
Loader开源增强特性 Loader开源增强特性：数据导入导出 Loader是在开源Sqoop组件的基础上进行了一些扩展，除了包含Sqoop开源组件本身已有的功能外，还开发了如下的增强特性： 提供数据转化功能 支持图形化配置转换步骤 支持从SFTP/FTP服务器导入数据到HDFS/OBS
Loader数据导入导出概述 Loader数据导入简介 Loader是实现MRS与外部数据源如关系型数据库、SFTP服务器、FTP服务器之间交换数据和文件的ETL工具，支持将数据或文件从关系型数据库或文件系统导入到MRS系统中。 Loader支持如下数据导入方式： 从关系型数据库导入数据到HDFS/OBS
的approx_distinct()，即每个元素出现的近似次数，进而通过很小的开销去完成整个查询。 例如，只要计算每日每个用户浏览了多少次网页，就可以通过累加的方式，去计算每周、每年对应的数据，类似于通过汇总每日收入来计算每周收入。 可以将approx_distinct()与GROUPING
自定义购买MRS集群 本章节为您介绍如何在MRS管理控制台自定义创建一个新的MRS集群。 MRS包含了多种大数据组件，用户可基于企业大数据场景的业务场景、数据类型、可靠性要求以及资源预算等要求合理选择集群类型。 用户可以基于系统预置的集群模板快速购买一个集群，也可自行选择组件列表及高级配置特性，自定义购买集群。
算资源+专属存储资源、专属计算资源+专属存储资源。 主机安全 MRS支持与公有云安全服务集成，支持漏洞扫描、安全防护、应用防火墙、堡垒机、网页防篡改等。针对操作系统和端口部分，华为云提供如下安全措施： 操作系统内核安全加固 操作系统权限控制 操作系统端口管理 应用安全 通过如下措施保证大数据业务正常运行：
Superior调度器模式下管理MRS全局用户策略 操作场景 如果租户配置使用Superior调度器，那么系统可以控制具体用户使用资源调度器的行为，包含： 最大运行任务数 最大挂起任务数 默认队列 管理MRS全局用户策略 添加策略 在FusionInsight Manager，单击“租户资源”。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
