检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
进行一次授权,系统就会自动细粒度关联数据存储源的权限,不需要感知表的存储路径,无需进行二次授权。同时也补齐了基于存算分离授权功能缺陷,可以在Ranger上实现对存算分离表的授权鉴权。Hive表的级联授权功能主要体现为: 开启Ranger级联授权后,Ranger中创建策略对表授权时
n、Spark、Flume和Loader等组件支持从OBS导入、导出数据。 MRS使用OBS的并行文件系统提供服务。 配置存算分离集群(委托方式) 配置存算分离集群(AKSK方式) 弹性云服务器(Elastic Cloud Server) MRS服务使用弹性云服务器(ECS)作为
的结构必须一致。 若'表名'设置了加密算法SMS4或AES,则不支持对此HBase表启用将数据从主集群实时同步到备集群的功能。 若备集群不在线,或备集群中已存在同名但结构不同的表,启用容灾功能将失败。 若主集群中部分Phoenix表启用容灾功能同步数据,则备集群中不能存在与主集群
&& SMS_NAME == 'HBase'</badlines> 针对“<badlines>”标签中的算符和对应的参数类型如表2所示。 表2 算符和对应的参数类型 算符类型 参数类型 && 对应的参数类型应为布尔型。 & 对应的参数类型应为整数。 | 对应的参数类型应为整数。
&& SMS_NAME == 'HBase'</badlines> 针对“<badlines>”标签中的算符和对应的参数类型如表2所示。 表2 算符和对应的参数类型 算符类型 参数类型 && 对应的参数类型应为布尔型。 & 对应的参数类型应为整数。 | 对应的参数类型应为整数。
可以退订MRS集群。 集群退订后,资源和数据将会被删除并且无法找回,请务必确认完成数据备份后再提交退订。退订规则请参见退订规则说明。 当集群已对接了OBS(存算分离或者冷热分离场景),若需要删除组件或者MRS集群,需要在删除组件或者集群后,手工将OBS上相关的业务数据进行删除。 删除MRS按需集群 登录MRS管理控制台。
构必须一致。 如果'表名'设置了加密算法SMS4或AES,则不支持对此HBase表启用将数据从主集群实时同步到备集群的功能。 如果备集群不在线,或备集群中已存在同名但结构不同的表,启用容灾功能将失败。 如果主集群中部分Phoenix表启用容灾功能同步数据,则备集群中不能存在与主集
adClick topic中。 广告有效展示的定义如下: 请求到展示的时长超过A分钟算无效展示。 A分钟内多次展示,每次展示事件为有效展示。 广告有效点击的定义如下: 展示到点击时长超过B分钟算无效点击。 B分钟内多次点击,仅首次点击事件为有效点击。 基于此业务场景,模拟简单的数据结构如下:
adClick topic中。 广告有效展示的定义如下: 请求到展示的时长超过A分钟算无效展示。 A分钟内多次展示,每次展示事件为有效展示。 广告有效点击的定义如下: 展示到点击时长超过B分钟算无效点击。 B分钟内多次点击,仅首次点击事件为有效点击。 基于此业务场景,模拟简单的数据结构如下:
使用Hive加载OBS数据并分析企业雇员信息 本实践指导使用Hive对OBS中存储的原始数据进行导入、分析等操作,展示了如何构建弹性、低成本的存算分离大数据分析。以用户开发一个Hive数据分析应用为例,通过客户端连接Hive后,执行HQL语句访问OBS中的Hive数据。进行企业雇员信息的管理、查询。
、设置弹性伸缩策略。除此之外,您还可以实时查看监控指标及审计日志,以便及时了解集群和节点的健康状态。 如何创建集群 自定义购买集群 创建存算分离集群 扩容集群 配置弹性伸缩规则 升级Master节点规格 配置消息通知 如何登录集群 登录集群节点 集群内节点使用MRS客户端 更新客户端
类参数,为Main-Class的参数(参数间用空格分隔)。 并行度 并行数量。 并行数为作业每个算子的并行数,适度增加并行数会提高作业整体算力,但也须考虑线程增多带来的切换开销,其上限是计算单元SPU数的四倍,最佳实践为计算单元SPU数的1-2倍。 JobManager内存(MB)
大数据分析实践 实时数据湖表存储设计方法(基于Hudi表) 如何基于MRS-Hudi实现拉链表 MRS HDFS细粒度锁优化实践 ClickHouse存算分离在华为云实践 MRS HBase MTTR优化实践 二次开发类 通过API-Explorer优化MRS服务API开发流程 使用华为SDK开发MRS
adClick topic中。 广告有效展示的定义如下: 请求到展示的时长超过A分钟算无效展示。 A分钟内多次展示,每次展示事件为有效展示。 广告有效点击的定义如下: 展示到点击时长超过B分钟算无效点击。 B分钟内多次点击,仅首次点击事件为有效点击。 基于此业务场景,模拟简单的数据结构如下:
adClick topic中。 广告有效展示的定义如下: 请求到展示的时长超过A分钟算无效展示。 A分钟内多次展示,每次展示事件为有效展示。 广告有效点击的定义如下: 展示到点击时长超过B分钟算无效点击。 B分钟内多次点击,仅首次点击事件为有效点击。 基于此业务场景,模拟简单的数据结构如下:
finished.job.outdated.threshold:节点的过期时间,每个批次的任务都会生成对应节点,从当前批次任务的结束时间开始算,如果超过60分钟,则表示已经过期了,那么就清除节点。 batch.job.max.retry.count:单批次任务的最大重试次数,当单批
finished.job.outdated.threshold:节点的过期时间,每个批次的任务都会生成对应节点,从当前批次任务的结束时间开始算,如果超过60分钟,则表示已经过期了,那么就清除节点。 batch.job.max.retry.count:单批次任务的最大重试次数,当单批
执行时长包括Driver侧执行时间和Job运行时间,当SQL运行阻塞在Driver侧,尽管超过了熔断阈值,但是也无法取消job。此现象在存算分离场景下,INSERT OVERWRITE操作大量分区中可能出现。 配置Spark SQL防御规则 登录FusionInsight Manager,选择“集群
directory /mnt 挂载一个已有的OBS文件系统到Alluxio(前提:给集群配置有OBS OperateAccess权限的委托,具体请参见配置存算分离集群(委托方式))。此处以obs-mrstest文件系统为例,请根据实际情况替换文件系统名。 alluxio fs mount /mnt/obs
群名称,在“概览”页签单击“IAM用户同步”后的“同步”,根据界面提示同步当前用户。 参考配置MRS 3.3.0-LTS版本集群配置组件存算分离、下载客户端等操作。 配置MRS 3.3.0-LTS版本集群 登录MRS集群的FusionInsight Manager页面,具体操作请参考访问FusionInsight