检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在日志流页面中，可以查看日志流的名称、企业项目、日志存储时间、创建时间和创建类型。 可以给不同的组件设置不同的日志流进行区分。 主机接入。 在云日志服务管理控制台，选择“接入 > 接入中心”。 在“全部分类”页签单击“云主机ECS”。 在“选择日志流”中，“所属日志组”和“所属日志流”选择创建的日志组和日志流名称，单击“下一步”。
Manager页面。” 图2 绑定弹性公网IP 单击“确定”，进入MRS Manager登录页面。 输入创建集群时默认的用户名“admin”及设置的密码，单击“登录”进入MRS Manager页面。 添加安全组规则 如需为其他用户开通访问MRS Manager的权限，参考该小节内容添
创建MRS集群时计价器为什么未显示价格？ MRS集群中的弹性伸缩功能如何收费？ MRS集群的Task节点如何收费？ 退订MRS集群后在ECS中退订弹性云服务器时报异常如何处理？
MapReduce应用开发简介 MapReduce简介 Hadoop MapReduce是一个使用简易的并行计算软件框架，基于它写出来的应用程序能够运行在由上千个服务器组成的大型集群上，并以一种可靠容错的方式并行处理上T级别的数据集。 一个MapReduce作业（application/job）通常会把输
单击目标节点组，在展开的节点名称列中单击任一节点，跳转到云服务基本信息控制台。 图1 节点管理 在云服务器详情页面中，选择“基本信息”页签，进入云服务器基本信息页面后，在“云服务器信息”栏中确认“镜像”中EulerOS的操作系统版本。 查看说明：镜像中显示的EulerOS_2.1
单击“添加角色”，然后“角色名称”和“描述”输入角色名字与描述。 设置角色“配置资源权限”请参见表1。 Yarn权限： “集群管理操作权限”：Yarn管理员权限。 “调度队列”：队列资源管理。 表1 设置角色 任务场景 角色授权操作 设置Yarn管理员权限 在“配置资源权限”的表格中选择“待操作集群的名称
从SFTP服务器导入数据到HDFS/OBS。 从SFTP服务器导入数据到HBase。 从SFTP服务器导入数据到Phoenix表。 从SFTP服务器导入数据到Hive表。 从FTP服务器导入数据到HDFS/OBS。 从FTP服务器导入数据到HBase。 从FTP服务器导入数据到Phoenix表。
开启了Kerberos认证的安全模式集群，进行应用开发时需要进行安全认证。 使用Kerberos的系统在设计上采用“客户端/服务器”结构与AES等加密技术，并且能够进行相互认证（即客户端和服务器端均可对对方进行身份认证）。可以用于防止窃听、防止replay攻击、保护数据完整性等场合，是一种应用对称密钥体制进行密钥管理的系统。
与关系型数据库、文件系统之间交换“数据”、“文件”，同时也可以将数据从关系型数据库或者文件服务器导入到HDFS/HBase中，或者反过来从HDFS/HBase导出到关系型数据库或者文件服务器中。 Loader模型主要由Loader Client和Loader Server组成，如图1所示。
用。 MapReduce服务通常使用的基础资源如下，配额由各个基础服务管理，如需扩大配额，请联系对应服务的技术支持进行扩容： 弹性云服务器 裸金属服务器 虚拟私有云 云硬盘 镜像服务 对象存储服务 弹性公网IP 消息通知服务 统一身份认证服务 其配额查看及修改请参见关于配额。
具体计费请以MRS价格计算器中的价格为准。 弹性云服务器 计费因子：vCPU和内存，不同规格的实例类型提供不同的计算和存储能力。 包年/包月、按需计费 节点个数 * 弹性云服务器单价 * 购买时长 弹性云服务器单价请以弹性云服务器价格计算器中的价格为准。 云硬盘（系统盘和数据盘）
> 统一身份认证服务 IAM”。 选择“委托 > 创建委托”。 设置“委托名称”，例如：mrs_ecs_obs。 “委托类型”选择“云服务”，在“云服务”中选择“弹性云服务器ECS 裸金属服务器BMS”，授权ECS或BMS调用OBS服务，如图1所示。 “持续时间”选择“永久”并单击“完成”。
如何处理checkpoint设置RocksDBStateBackend方式，且当数据量大时，执行checkpoint会很慢的问题？ 问题 如何处理checkpoint设置RocksDBStateBackend方式，且当数据量大时，执行checkpoint会很慢的问题？ 原因分析
客户配置了DNS服务，由于客户端连接到HBase先通过DNS来解析服务器端，所以导致响应慢。 处理步骤 以root用户登录Master节点。 执行vi /etc/resolv.conf，打开resolv.conf文件，注释掉DNS服务器地址。 例如，#1.1.1.1。 父主题： 使用HBase
开启了Kerberos认证的安全模式集群，进行应用开发时需要进行安全认证。使用Kerberos的系统在设计上采用“客户端/服务器”结构与AES等加密技术，并且能够进行相互认证（即客户端和服务器端均可对对方进行身份认证）。可以用于防止窃听、防止replay攻击、保护数据完整性等场合，是一种应用对称密钥体制进行密钥管理的系统。
服务配置参数。 表3 参数说明 配置参数 说明 默认值 yarn.log-aggregation-enable 设置是否将container日志收集到HDFS中。 设置为true，表示日志会被收集到HDFS目录中。默认目录为“{yarn.nodemanager.remote-ap
从关系型数据库导入数据到Hive表 从SFTP服务器导入数据到HDFS/OBS 从SFTP服务器导入数据到HBase 从SFTP服务器导入数据到Phoenix表 从SFTP服务器导入数据到Hive表 从FTP服务器导入数据到HDFS/OBS 从FTP服务器导入数据到HBase 从FTP服务器导入数据到Phoenix表
address=5006：需要换成3获取到的For JDK1.4.x对应的调试端口。 设置调试断点。 在IDEA代码编辑窗口左侧空白处单击鼠标左键设置相应代码行断点，如图4所示，在SparkPi.scala的29行设置断点。 图3 设置断点 启动调试。 在IDEA菜单栏中选择“Run > Debug
path at index” 问题 运行应用程序时，操作失败，日志显示如图1所示。 图1 操作失败日志 回答 可能的原因是URL中带空格导致服务器端无法正确识别URL。 需要去掉URL中的空格。 父主题： Manager应用开发常见问题
申请一台Windows的ECS访问MRS集群操作Presto。申请ECS访问MRS集群的步骤如下： 在“现有集群”列表中，单击已创建的集群名称。 记录集群的“可用分区”、“虚拟私有云”，以及Master节点的“默认安全组”。 在弹性云服务管理控制台，创建一个新的弹性云服务器。 弹性云服务器的“可用
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
