检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
选择此参数值,还需要配置以下参数: “IP 模式”:目标IP的IP地址模式。系统会根据集群网络类型自动选择对应的IP模式,如IPv4或者IPv6。 “服务器IP地址”:填写NAS服务器IP地址。 “服务器共享路径”:填写用户配置的NAS服务器共享目录。(服务器共享路径不能设置为根目录,且共享路径的用户组和属组必须为nobody:nobody)
用。 MapReduce服务通常使用的基础资源如下,配额由各个基础服务管理,如需扩大配额,请联系对应服务的技术支持进行扩容: 弹性云服务器 裸金属服务器 虚拟私有云 云硬盘 镜像服务 对象存储服务 弹性公网IP 消息通知服务 统一身份认证服务 其配额查看及修改请参见关于配额。
选择此参数值,还需要配置以下参数: “IP 模式”:目标IP的IP地址模式。系统会根据集群网络类型自动选择对应的IP模式,如IPv4或者IPv6。 “服务器IP地址”:填写NAS服务器IP地址。 “服务器共享路径”:填写用户配置的NAS服务器共享目录。(服务器共享路径不能设置为根目录,且共享路径的用户组和属组必须为nobody:nobody)
开启了Kerberos认证的安全模式集群,进行应用开发时需要进行安全认证。 使用Kerberos的系统在设计上采用“客户端/服务器”结构与AES等加密技术,并且能够进行相互认证(即客户端和服务器端均可对对方进行身份认证)。可以用于防止窃听、防止replay攻击、保护数据完整性等场合,是一种应用对称密钥体制进行密钥管理的系统。
与关系型数据库、文件系统之间交换“数据”、“文件”,同时也可以将数据从关系型数据库或者文件服务器导入到HDFS/HBase中,或者反过来从HDFS/HBase导出到关系型数据库或者文件服务器中。 Loader模型主要由Loader Client和Loader Server组成,如图1所示。
具体计费请以MRS价格计算器中的价格为准。 弹性云服务器 计费因子:vCPU和内存,不同规格的实例类型提供不同的计算和存储能力。 包年/包月、按需计费 节点个数 * 弹性云服务器单价 * 购买时长 弹性云服务器单价请以弹性云服务器价格计算器中的价格为准。 云硬盘(系统盘和数据盘)
配置参数 说明 示例 server.url Loader服务的浮动IP地址和端口(21351)。 为了兼容性,此处支持配置多个IP地址和端口,并以“,”进行分隔。其中第一个必须是Loader服务的浮动IP地址和端口(21351),其余的可根据业务需求配置。 10.0.0.1:21351
> 统一身份认证服务 IAM”。 选择“委托 > 创建委托”。 设置“委托名称”,例如:mrs_ecs_obs。 “委托类型”选择“云服务”,在“云服务”中选择“弹性云服务器ECS 裸金属服务器BMS”,授权ECS或BMS调用OBS服务,如图1所示。 “持续时间”选择“永久”并单击“完成”。
address=5006:需要换成3获取到的For JDK1.4.x对应的调试端口。 设置调试断点。 在IDEA代码编辑窗口左侧空白处单击鼠标左键设置相应代码行断点,如图4所示,在SparkPi.scala的29行设置断点。 图3 设置断点 启动调试。 在IDEA菜单栏中选择“Run > Debug
实例”,获取ZooKeeper实例的“业务IP”地址。 图1 ZooKeepe地址 选择“服务配置”页签,搜索“clientPort”参数,该参数的值即为ZooKeeper的端口。 方法二:通过Manager界面获取 登录Manager界面。 在Manager界面获取ZooKeeper的IP地址和端口。 针对MRS
S读取性能。 此功能仅用于读取不经常修改的文件。因为在服务器端由某些其他客户端完成的数据修改,对于高速缓存的客户端将是不可见的,这可能导致从缓存中拿到的元数据是过期的。 本章节适用于MRS 3.x及后续版本。 操作步骤 设置参数的路径: 在FusionInsight Manager页面中,选择“集群
在“下载路径”选择“远端主机”。 将“主机IP”设置为ECS的IP地址,设置“主机端口”为“22”,并将“存放路径”设置为“/tmp”。 如果使用SSH登录ECS的默认端口“22”被修改,请将“主机端口”设置为新端口。 “存放路径”最多可以包含256个字符。 “登录用户”设置为“root”。 如果使用
开启了Kerberos认证的安全模式集群,进行应用开发时需要进行安全认证。使用Kerberos的系统在设计上采用“客户端/服务器”结构与AES等加密技术,并且能够进行相互认证(即客户端和服务器端均可对对方进行身份认证)。可以用于防止窃听、防止replay攻击、保护数据完整性等场合,是一种应用对称密钥体制进行密钥管理的系统。
S读取性能。 此功能仅用于读取不经常修改的文件。因为在服务器端由某些其他客户端完成的数据修改,对于高速缓存的客户端将是不可见的,这可能导致从缓存中拿到的元数据是过期的。 本章节适用于MRS 3.x及后续版本。 操作步骤 设置参数的路径: 在FusionInsight Manager页面中,选择“集群
HBase单表查询范围扫描优化 HBase单表查询范围扫描优化是指根据HBase的列的谓词条件尝试自动推断rowkey的起止地址,在tableScan的时候设置hbase scan起止地址从而提高访问性能。 比如假设HBase数据表的rowkey由building_code:house_code
Hive组件中MetaStore服务的地址,如“thrift://10.10.169.84:21088,thrift://10.10.81.37:21088” - hive.metastore.sasl.enabled MetaStore服务是否使用SASL安全加固。表权限功能需要设置为“true”。
服务配置参数。 表3 参数说明 配置参数 说明 默认值 yarn.log-aggregation-enable 设置是否将container日志收集到HDFS中。 设置为true,表示日志会被收集到HDFS目录中。默认目录为“{yarn.nodemanager.remote-ap
主备DBService节点间链路异常。 处理步骤 检查主备DBService服务器间的网络是否正常。 在FusionInsight Manager页面,在告警列表中,单击此告警所在行的,查看该告警的DBService备服务器地址。 以root用户登录主DBService服务器,用户密码为安装前用户自定义,请咨询系统管理员。
从关系型数据库导入数据到Hive表 从SFTP服务器导入数据到HDFS/OBS 从SFTP服务器导入数据到HBase 从SFTP服务器导入数据到Phoenix表 从SFTP服务器导入数据到Hive表 从FTP服务器导入数据到HDFS/OBS 从FTP服务器导入数据到HBase 从FTP服务器导入数据到Phoenix表
模式”:目标IP的IP地址模式。系统会根据集群网络类型自动选择对应的IP模式,如IPv4或者IPv6。 “服务器IP地址”:填写NAS服务器IP地址。 “端口号”:填写CIFS协议连接NAS服务器使用的端口号,默认值为“445”。 “用户名”:填写配置CIFS协议时设置的用户名。 “密