检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hadoop压力测试工具如何获取？ 问： Hadoop压力测试工具如何获取？ 答： Hadoop压力测试工具社区获取地址：https://github.com/Intel-bigdata/HiBench。 父主题： 性能优化类
第三方jar包跨平台（x86、TaiShan）支持 问题 用户自己写的jar包(比如自定义udf包)区分x86和TaiShan版本，如何让spark2x支持其正常运行。 回答 第三方jar包（例如自定义udf）区分x86和TaiShan版本时，混合使用方案： 进入到服务端spark2x
第三方jar包跨平台（x86、TaiShan）支持 问题 用户自己写的jar包(比如自定义udf包)区分x86和TaiShan版本，如何让spark2x支持其正常运行。 回答 第三方jar包（例如自定义udf）区分x86和TaiShan版本时，混合使用方案： 进入到服务端spark2x
些新的大数据问题。为解决以上大数据处理问题，Apache基金会推出了Hadoop大数据处理的开源解决方案。Hadoop是一个开源分布式计算平台，可以充分利用集群的计算和存储能力，完成海量数据的处理。企业自行部署Hadoop系统有成本高，周期长，难运维和不灵活等问题。 针对上述问题
性能优化类 Hadoop压力测试工具如何获取？ 如何提高集群Core节点的资源使用率？ 如何配置MRS集群knox内存？ 如何调整MRS集群manager-executor进程内存？ 如何设置Spark作业执行时自动获取更多资源？ spark.yarn.executor.memo
of data”。 原因分析 Hive中一个中文字符长度为“1”；而Impala中一个中文字符的长度为“3”，从而导致在Impala SQL中使用substr()，substring()，strleft()等函数截取中文字符时，不能把中文当做1个字符长度来处理，导致报编码问题。 处理步骤
配置MRS集群对接SNMP网管平台上报告警 如果用户需要在统一的运维网管平台查看集群的告警、监控数据，管理员可以在FusionInsight Manager使用SNMP服务将相关数据上报到网管平台。 前提条件 对接服务器对应的弹性云服务器需要和MRS集群的Master节点在相同的
技术支持 MRS服务是租户完全可控的半托管云服务，为用户提供一站式企业级大数据平台，用户可以在MRS集群上轻松运行Hadoop、Hive、Spark、HBase、Kafka、Flink等大数据组件，帮助企业快速构建海量数据信息处理系统，并通过对海量信息数据实时与非实时的分析挖掘，发现全新价值点和企业商机。
第三方jar包跨平台（x86、TaiShan）支持 问题 用户自己写的jar包（例如自定义udf包）区分x86和TaiShan版本，如何让Spark2x支持其正常运行。 回答 第三方jar包（例如自定义udf）区分x86和TaiShan版本时，混合使用方案： 进入到服务端Spark2x
Hue中的输入框输入中文会出现混乱 用户问题 Hue中的输入框输入中文会出现混乱。 问题现象 Hue的输入框中输入中文时，会出现混乱，第一次输入不了的情况，也即输入的中文会首先出现英文，中文并未输入，再次输入会带上之前的内容，示例如下： 原因分析 Hue对中文的处理存在混乱的情况，需要进行修正。
第三方jar包跨平台（x86、TaiShan）支持 问题 用户自己写的jar包（例如自定义udf包）区分x86和TaiShan版本，如何让Spark2x支持其正常运行。 回答 第三方jar包（例如自定义udf）区分x86和TaiShan版本时，混合使用方案： 进入到服务端Spark2x
Hive元数据使用RDS时创建视图表中文乱码 用户问题 MRS 3.1.0版本集群，Hive元数据配置为RDS数据库中存储。创建视图时，使用case when语句中文显示乱码。 例如建表语句如下： 查看视图内容中，中文乱码： 原因分析 该问题是由于元数据表相关字段编码不是UTF 8，导致中文显示异常。 处理步骤
ClickHouse容量规划设计 为了能够更好的发挥ClickHouse分布式查询能力，在集群规划阶段需要合理设计集群数据分布存储。 当前ClickHouse能力为单机磁盘容量达到80%后会上报告警信息，磁盘容量达90%后集群会处于只读状态。 出现磁盘告警信息后需要考虑是否是容量
Manager关键特性：多语言支持 Manager增加了对多语言的支持，系统自动根据浏览器的语言偏好设置，显示中文或者英文。当浏览器首选语言是中文时，Manager显示中文界面；当浏览器首选语言不是中文时，Manager显示英文界面。用户也可以根据语言偏好，在界面左下角一键切换中英文界面（仅MRS
Hive复杂类型字段名称中包含特殊字符，导致建表失败。 回答 Hive不支持复杂类型字段名称中包含特殊字符。 特殊字符是指英文大小写字母、阿拉伯数字、中文字符、葡萄牙文字符以外的其他字符。 用户在创建相关字段时，应避免使用相关特殊字符。 父主题： Hive常见问题
PyFlink样例程序开发思路 假定业务平台需要提交Flink任务到MRS集群，业务平台主要使用的语言是Python，提供Python读写Kafka作业和Python提交SQL作业的样例。 本场景适用于MRS 3.3.0及以后的集群版本。 父主题： PyFlink样例程序
PyFlink样例程序开发思路 假定业务平台需要提交Flink任务到MRS集群，业务平台主要使用的语言是Python，提供Python读写Kafka作业和Python提交SQL作业的样例。 本场景适用于MRS 3.3.0及以后的集群版本。 父主题： PyFlink样例程序
以能够更好的进行迁移决策。 业务信息调研 大数据平台及业务的架构图。 大数据平台和业务的数据流图（包括峰值和均值流量等）。 识别平台数据接入源、大数据平台数据流入方式（实时数据上报、批量数据抽取）、分析平台数据流向。 数据在平台内各个组件间的流向，比如使用什么组件采集数据，采集
MRS集群保留JDK说明 MRS集群是租户完全可控的大数据应用开发平台，用户基于平台开发业务后，将业务程序部署到大数据平台运行。由于需要具备开发调测能力，因此要在MRS集群中保留JDK。 此外，MRS集群功能中如下关键特性也强依赖JDK。 HBase BulkLoad HBase
节点。 方案架构 租户是MRS大数据平台的核心概念，使传统的以用户为核心的大数据平台向以多租户为核心的大数据平台转变，更好的适应现代企业多租户应用环境，如图1所示。 图1 以用户为核心的平台和以多租户为核心的平台 对于以用户为核心的大数据平台，用户直接访问并使用全部的资源和服务。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
