检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
特性： 提供数据转化功能 支持图形化配置转换步骤 支持从SFTP/FTP服务器导入数据到HDFS/OBS 支持从SFTP/FTP服务器导入数据到HBase表 支持从SFTP/FTP服务器导入数据到Phoenix表 支持从SFTP/FTP服务器导入数据到Hive表 支持从HDFS/OBS导出数据到SFTP服务器
配置Spark Python3样例工程 操作场景 为了运行MRS产品Spark2x组件的Python3接口样例代码，需要完成下面的操作。 操作步骤 客户端机器必须安装有Python3，其版本不低于3.6。 在客户端机器的命令行终端输入python3可查看Python版本号。如下显示Python版本为3
备管理节点上配置定时备份。 执行以下命令，切换目录。 cd ${BIGDATA_HOME}/om-server/om/sbin 执行以下命令，配置定时备份Manager告警、审计或者服务审计信息。 ./setNorthBound.sh -t 信息类型 -i 远程服务器IP -p 服务器使用的SFTP或FTP端口
Hive常用常用配置参数 参数入口 对于MRS 3.x之前版本，登录MRS控制台，在左侧导航栏选择“现有集群”，单击集群名称，选择“组件管理 > Hive > 服务配置”，单击“基础配置”下拉菜单，选择“全部配置”。 对于MRS 3.x之后版本，登录FusionInsight Manager，选择“集群
配置Flume通过IAM委托访问OBS 参考配置MRS集群通过IAM委托对接OBS完成存算分离集群配置后，Flume即可运行OBS作业。 本章节适用于MRS 3.x及之后的版本。 Flume对接OBS 创建用于存放数据的OBS文件夹。 登录OBS控制台。 单击“并行文件系统”进入并行文件系统页面。
HBase ACL安全配置 功能简介 访问权限控制，在关系型数据库中是一个已经很成熟的技术，HBase实现了一个较为简单的特性。这些特性归纳为读（R）、写（W）、创建（C）、执行（X）和管理（A）等。在普通模式下，该功能只有在开启HBase权限管理时才支持。 ACL的方法定义在工具类org
多CPU内核下MapReduce调优配置 操作场景 当CPU内核数很多时，如CPU内核为磁盘数的3倍时的调优配置。 操作步骤 以下参数有如下两个配置入口： 服务器端配置 进入Yarn服务参数“全部配置”界面，在搜索框中输入参数名称。具体操作请参考修改集群服务配置参数章节。 客户端配置 直接在客户端中修改相应的配置文件。
多CPU内核下的MapReduce调优配置 操作场景 当CPU内核数很多时，如CPU内核为磁盘数的3倍时的调优配置。 操作步骤 以下参数有如下两个配置入口： 服务器端配置 进入Yarn服务参数“全部配置”界面，在搜索框中输入参数名称。具体操作请参考修改集群服务配置参数章节。 客户端配置 直接在客户端中修改相应的配置文件。
安装MRS客户端 操作场景 该操作指导安装工程师安装MRS集群所有服务（不包含Flume）的客户端。Flume客户端安装请参见安装Flume客户端。 客户端可以安装集群内节点，也可以安装在集群外节点，本章节以安装目录“/opt/client”为例进行介绍，请以实际集群版本为准。 在集群外节点安装客户端前提条件
Manager将无法正常使用。 修改OMS服务配置 修改okerberos配置 登录FusionInsight Manager，选择“系统 > OMS”。 在okerberos所在行，单击“修改配置”。 根据表1所示的说明修改参数。 表1 okerberos参数配置一览表 参数名 说明 连接KDC最大时延（毫秒）
在IDEA中提交Storm拓扑 操作场景 Storm支持IntelliJ IDEA远程提交拓扑，目前样例代码中仅WordCountTopology支持远程提交，其他拓扑想实现远程提交，请参考WordCountTopology实现远程提交函数。 前提条件 已执行打包Strom样例工程应用。 调整IntelliJ
调整HetuEngine集群节点资源配置 HetuEngine默认的内存大小参数和硬盘溢出路径参数默认并非最佳，需要根据实际业务和集群的服务器配置情况调整集群节点资源配置，以获得最佳的性能效果。 调整HetuEngine集群节点资源步骤 登录FusionInsight Manager页面。
手动指定运行Yarn任务的用户 配置场景 目前YARN支持启动NodeManager的用户运行所有用户提交的任务，也支持以提交任务的用户运行任务。 配置描述 在Manager系统中，选择“集群 > 待操作集群的名称 > 服务 > Yarn > 配置”，选择“全部配置”。在搜索框中输入参数名称。
在IDEA中提交Storm拓扑 操作场景 Storm支持IntelliJ IDEA远程提交拓扑，目前样例代码中仅WordCountTopology支持远程提交，其他拓扑想实现远程提交，请参考WordCountTopology实现远程提交函数。 前提条件 已执行打包Storm样例工程应用。 调整IntelliJ
若当前运行环境与OpenTSDB安装环境处于同一个VPC网络中，使用连接的TSD实例IP或主机名均可。 若当前运行环境与OpenTSDB安装环境位于不同VPC中，仅可使用主机名进行访问。同时需在连接的TSD实例上绑定EIP，并把该EIP及该TSD实例的主机名配置到hosts中，linux环境需修改文
如需在Windows调测程序，需要配置Windows通过EIP访问集群Kafka，详情请参见配置Windows通过EIP访问安全模式集群Kafka。 如需在Linux调测程序，需要确保当前用户对“src/main/resources”目录下和依赖库文件目录下的所有文件，均具有可读权限。同时保证已安装JDK并已设置java相关环境变量。
写入操作配置 本章节介绍Hudi重要配置的详细信息，更多配置请参考hudi官网：http://hudi.apache.org/cn/docs/configurations.html。 表1 写入操作重要配置项 参数 描述 默认值 hoodie.datasource.write.table
同步MRS集群组件配置参数 当用户发现部分组件或实例的状态超期或失败时，您可以尝试使用同步配置功能，以恢复配置状态。或者集群中所有服务的配置状态为失败时，同步指定服务的配置数据与后台配置数据。 若集群中所有服务的配置状态为“失败”时，同步集群的配置数据与后台配置数据。 若集群中某
Flink常用配置参数 配置说明 Flink所有的配置参数都可以在客户端侧进行配置，建议用户直接修改客户端的“flink-conf.yaml”配置文件进行配置，如果通过Manager界面修改Flink服务参数，配置完成之后需要重新下载安装客户端： 配置文件路径：客户端安装路径/Fli
如需在Windows调测程序，需要配置Windows通过EIP访问集群Kafka，详情请参见配置Windows通过EIP访问集群Kafka。 如需在Linux调测程序，需要确保当前用户对“src/main/resources”目录下和依赖库文件目录下的所有文件，均具有可读权限。同时保证已安装Jdk并已设置java相关环境变量。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
