检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
任务下次启动,与上一次运行的时间间隔,支持按“小时”或按“天”。 备份策略 每次都全量备份 首次全量备份,后续增量备份 每次都全量备份 每n次进行一次全量备份 说明: 备份Manager数据和组件元数据时不支持增量备份,仅支持“每次都全量备份”。 如果“路径类型”要使用NFS或CIFS,不能使用
使用Presto客户端执行查询语句 用户可以根据业务需要,在MRS集群的客户端中进行交互式查询。启用Kerberos认证的集群,需要提交拓扑的用户属于“presto”组。 MRS 3.x版本Presto组件暂不支持开启Kerberos认证。 前提条件 获取用户“admin”账号密码。“admin”密码在创建MRS集群时由用户指定。
单击“确定”添加备份数据文件。 正则表达式筛选 单击“正则表达式输入”。 根据界面提示,在第一个输入框填写目录的父目录完整路径,需要与当前存在的目录完全匹配。例如“/tmp”。 在第二个输入框输入正则表达式,支持标准正则表达式。例如要筛选父目录中所有的文件或子目录,输入“([\s\S]*?)”。例如要筛选命
选择此参数值,还需要配置以下参数: “IP 模式”:目标IP的IP地址模式。系统会根据集群网络类型自动选择对应的IP模式,如IPv4或者IPv6。 “服务器IP地址”:填写NAS服务器IP地址。 “服务器共享路径”:填写用户配置的NAS服务器共享目录。(服务器共享路径不能设置为
使用Hive输入use database语句失效 问题 使用Hive的时候,在输入框中输入了use database的语句切换数据库,重新在输入框内输入其他语句,为什么数据库没有切换过去? 回答 在Hue上使用Hive有区别于用Hive客户端使用Hive,Hue界面上有选择数据库
原因分析 MapReduce任务提交前对输入文件数的检查策略:在提交的MapReduce任务中,允许的最大输入文件数和HiveServer最大堆内存的比值,例如500000/4(默认值),表示每4GB堆内存最大允许500000个输入文件。在输入的文件数超出此限制时则会发生此错误。 解决办法
使用Hive输入use database语句失效 问题 使用Hive的时候,在输入框中输入了use database的语句切换数据库,重新在输入框内输入其他语句,为什么数据库没有切换过去? 回答 在Hue上使用Hive有区别于用Hive客户端使用Hive,Hue界面上有选择数据库
根据本地历史数据备份策略,集群的审计日志需要转储到第三方服务器上。系统每天凌晨3点开始周期性检测转储服务器,如果转储服务器满足配置条件,审计日志可以成功转储。审计日志转储失败,系统产生此告警。如果第三方服务器的转储目录磁盘空间不足,或者用户修改了转储服务器的用户名、密码或转储目录,将会导致审计日志转储失败。
x及以前版本) 告警解释 根据本地历史数据备份策略,集群的审计日志需要转储到第三方服务器上。如果转储服务器满足配置条件,审计日志可以成功转储。审计日志转储失败,系统产生此告警。如果第三方服务器的转储目录磁盘空间不足,或者用户修改了转储服务器的用户名、密码或转储目录,将会导致审计日志转储失败。 告警属性
使用Impala查询管理界面 操作场景 用户可以根据业务需要,在FusionInsight Manager中通过交互式查询,查看Impala的相关任务。 本章节内容仅适用于MRS 3.1.5及之后版本。 前提条件 已获取“admin”账号密码。“admin”密码在创建MRS集群时由用户指定。
使用Impala查询管理界面 操作场景 用户可以根据业务需要,在FusionInsight Manager中通过交互式查询,查看Impala的相关任务。 本章节内容仅适用于MRS 3.1.5及之后版本。 前提条件 已获取“admin”账号密码。“admin”密码在创建MRS集群时由用户指定。
单击“确定”添加备份数据文件。 正则表达式筛选 单击“正则表达式输入”。 根据界面提示,在第一个输入框填写Hive表所在的数据库,需要与当前存在的数据库完全匹配。例如“defalut”。 在第二个输入框输入正则表达式,支持标准正则表达式。例如要筛选数据库中所有的表,输入“([\s\S]*?)”。例如要筛选命
假定一个广告业务,存在广告请求事件、广告展示事件、广告点击事件,广告主需要实时统计有效的广告展示和广告点击数据。 已知: 终端用户每次请求一个广告后,会生成广告请求事件,保存到kafka的adRequest topic中。 请求一个广告后,可能用于多次展示,每次展示,会生成广告展示事件,保存到kafka的adShow
假定一个广告业务,存在广告请求事件、广告展示事件、广告点击事件,广告主需要实时统计有效的广告展示和广告点击数据。 已知: 终端用户每次请求一个广告后,会生成广告请求事件,保存到kafka的adRequest topic中。 请求一个广告后,可能用于多次展示,每次展示,会生成广告展示事件,保存到kafka的adShow
任务下次启动,与上一次运行的时间间隔,支持按“小时”或按“天”。 备份策略 每次都全量备份 选择数据周期备份策略。 首次全量备份,后续增量备份 每次都全量备份 每n次进行一次全量备份 说明: 备份组件元数据时不支持增量备份,仅支持“每次都全量备份”。 在“备份配置”,勾选“元数据和其它数据”区域下的“IoTDB”。
假定一个广告业务,存在广告请求事件、广告展示事件、广告点击事件,广告主需要实时统计有效的广告展示和广告点击数据。 已知: 终端用户每次请求一个广告后,会生成广告请求事件,保存到kafka的adRequest topic中。 请求一个广告后,可能用于多次展示,每次展示,会生成广告展示事件,保存到kafka的adShow
假定一个广告业务,存在广告请求事件、广告展示事件、广告点击事件,广告主需要实时统计有效的广告展示和广告点击数据。 已知: 终端用户每次请求一个广告后,会生成广告请求事件,保存到kafka的adRequest topic中。 请求一个广告后,可能用于多次展示,每次展示,会生成广告展示事件,保存到kafka的adShow
参数修改入口:在FusionInsight Manager系统中,选择“集群 > 服务 > 服务名 > 配置”,展开“全部配置”页签。在搜索框中输入参数名称。 修改配置参数后需要重启对应服务以使配置生效。 该章节仅适用于MRS 3.x及之后版本。 表1 参数说明 服务名称 配置参数 说明 缺省值 HBase
配置MRS集群对接SNMP网管平台上报告警 如果用户需要在统一的运维网管平台查看集群的告警、监控数据,管理员可以在FusionInsight Manager使用SNMP服务将相关数据上报到网管平台。 前提条件 对接服务器对应的弹性云服务器需要和MRS集群的Master节点在相同的VPC,
获取账号ID 在调用接口的时候,部分URL中需要填入账号ID(domain-id),所以需要先在管理控制台上获取到账号ID。账号ID获取步骤如下: 登录管理控制台。 单击用户名,在下拉列表中单击“我的凭证”。 在“API凭证”页面中查看账号ID。 图1 获取账号ID 父主题: 附录