检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
服务器在中国大陆境外,网站访问人群在中国大陆,该如何选择服务范围? 建议您的服务范围选择中国大陆。 当您的源站在中国大陆境外,且您开通的CDN加速服务范围在中国大陆时: 当中国大陆用户访问您的加速域名时会就近访问到中国大陆节点上,加速效果明显。
能否实现国内用户直接访问源站服务器,而国外用户接入CDN加速? 如果您的DNS支持分区域解析,则可实现配置,操作方法如下: 添加CDN中国大陆境外的加速域名,源站地址为您的服务器IP地址或域名。 您的DNS上分区域解析域名, 中国大陆的访问解析到A记录服务器IP地址。
MRS服务如何对接云日志服务? 前提条件 已获取账号AK和SK,详情请参考:如何获取访问密钥AK/SK。 操作步骤 在MRS主机上安装ICAgent,详情请参考:安装ICAgent(华为云主机)。 首次安装先安装一台服务器,然后按照继承批量安装的方式安装其他所有主机。 创建主机组
周边云服务对接 MRS对接LakeFormation云服务 使用MRS Spark SQL访问DWS表 使用MRS Hive表对接OBS文件系统 MRS Hive对接CSS服务配置说明
表1 Syslog对接参数 参数区域 参数 示例 参数说明 Syslog协议 服务IP模式 IPV4 设置对接服务器IP地址模式,可选择“IPV4”或者“IPV6”。(仅MRS 3.x及之后版本) 服务IP 192.168.xxx.xxx 设置对接服务器IP地址。 服务端口 514 设置对接端口。
创建委托”。 设置“委托名称”。例如:mrs_ecs_obs。 “委托类型”选择“云服务”,在“云服务”中选择“弹性云服务器ECS 裸金属服务器 BMS”,授权ECS或BMS调用OBS服务。 图2 创建委托 “持续时间”选择“永久”并单击“完成”。 在授权的确认弹窗中,单击“立即授权
MRS对接LakeFormation云服务 LakeFormation服务概述 配置LakeFormation数据连接前准备 创建集群时配置LakeFormation数据连接 通过Ranger为MRS集群内用户绑定LakeFormation角色 父主题: 周边云服务对接
请准备新的NTP服务器并获取IP地址,并设置好集群与新NTP服务器的网络。 请确保服务器的NTP服务状态正常,否则将导致本章节操作失败。 修改MRS集群NTP服务器对系统的影响 更换NTP服务器是高危操作,更换后集群时间可能将会变化。 更换NTP服务器前NTP服务器与集群当前时间偏差大于150s,则需先停止集群,防止数据丢失。停止集群期间服务无法访问。
MRS集群服务对接OBS示例 配置Flink通过Guardian访问OBS 配置HDFS通过Guardian访问OBS 配置HetuEngine通过Guardian访问OBS 配置Hive通过Guardian访问OBS 配置Hudi通过Guardian访问OBS 配置Mapreduce通过Guardian访问OBS
MRS集群服务对接OBS示例 配置Flink通过IAM委托访问OBS 配置Flume通过IAM委托访问OBS 配置HDFS通过IAM委托访问OBS 配置Hive通过IAM委托访问OBS 配置Hudi通过IAM委托访问OBS 配置MapReduce通过IAM委托访问OBS 配置Presto通过IAM委托访问OBS
方AD服务器。 是,执行7。 否,执行8。 执行以下命令查看是否能连通第三方AD服务。 telnet IP port 其中IP为第三方AD服务器IP地址,port为第三方AD服务器使用端口。 是,执行8。 否,联系运维人员检查网络。 联系第三方AD服务管理人员,检查AD服务是否正常。
联系NTP服务器的服务商,解决NTP服务器异常。确保NTP服务器正常后检查告警是否恢复。 是,处理完毕。 否,执行10。 检查从NTP服务器获取的时间是否持续未更新。 继续查看告警附加信息,是否提示从NTP服务器获取时间持续未更新。 是,执行11。 否,执行12。 联系NTP服务器的服务商,解决NTP服务器异常
LakeFormation服务概述 该LakeFormation入门教程介绍了如何创建一个LakeFormation实例并与MRS集群对接,实现统一的数据湖元数据及权限管理。 使用流程简介 MRS与LakeFormation对接的使用流程如下图所示: 图1 LakeFormation使用流程
添加自定义参数 MRS 3.2.0之前版本,单击“保存”,保存配置。单击“概览”,选择“更多 > 重启服务”,输入当前用户密码,单击“确定”,并勾选“同时重启上层服务。”,单击“确定”,重启Hive服务。 进入beeline客户端,在创建表时指定Location为OBS文件系统路径。 beeline
LK生态云服务,兼容Elasticsearch、Logstash、Kibana、Cerebro等软件。 约束与限制 已安装MRS的Hive服务和CSS的Elasticsearch服务,并且两个集群之间网络互通。 适用于MRS 3.x及之后版本。 步骤一:配置云搜索服务索引并下载jar包
设置“委托名称”。例如:mrs_ecs_obs。 “委托类型”选择“云服务”,在“云服务”中选择“ECS BMS”,授权ECS或BMS调用OBS服务,如图2所示。 “持续时间”选择“永久”并单击“下一步”。 图2 创建委托 在弹出页面中搜索框内搜索“OBS OperateAccess”策略,勾选“OBS
username”的值为连接数据库使用的用户名称。 “efak.password”的值为连接数据库使用的用户名称所对应的密码。 步骤二:启动EFAK服务验证对接结果 启动EFAK服务。 sh /opt/efak/efak-web-3.0.1/bin/ke.sh start 启动成功显示如下,获取EFAK WebUI登录地址。
是否开启使用Guardian对接OBS的access label。 true fs.obs.guardian.enabled 是否开启使用Guardian。 true 进入Guardian服务“概览”页面,选择“更多 > 重启服务”。 配置Hive对接OBS文件系统。 在FusionInsight
配置NFS服务器存储NameNode元数据 操作场景 本章节适用于MRS 3.x及后续版本。 用户在部署集群前,可根据需要规划Network File System(简称NFS)服务器,用于存储NameNode元数据,以提高数据可靠性。 如果您已经部署NFS服务器,并已配置NFS
创建对接ECS/BMS云服务委托 登录华为云管理控制台,选择“统一身份认证服务”。 在左侧导航栏选择“委托”,单击右上角的“创建委托”,设置相关参数,单击“下一步”。 参数选择如下: 委托名称:例如“lakeformation_test” 委托类型:选择“云服务” 云服务:选择“ECS
MRS集群是否支持对接外部KDC? 开源Kylin 3.x与MRS 1.9.3对接时存在Jetty兼容性问题如何处理? MRS导出数据到OBS加密桶失败如何处理? MRS服务如何对接云日志服务? MRS集群的节点如何安装主机安全服务? 如何通过happybase连接到MRS服务的HBase?
使用Jupyter Notebook对接MRS Spark 应用场景 在MRS服务中可以配合Jupyter Notebook使用PySpark,能够提高机器学习、数据探索和ETL应用开发效率。 本实践指导用户如何在MRS集群中配置Jupyter Notebook来使用Pyspark。