-
Oozie基本原理 - MapReduce服务 MRS
ozie对外提REST方式的WS接口,Oozie client通过该接口控制(启动、停止等操作)Workflow流程,从而编排、运行Hadoop MapReduce任务,如图1所示。 图1 Oozie框架 图1中各部分的功能说明如表1所示。 表1 结构图说明 名称 描述 Console
-
成本管理 - MapReduce服务 MRS
预算金额的80%时发送预算告警。那么,创建的预算如下: 图3 预算基本信息 图4 设置成本范围 图5 设置提醒 详细介绍请参见使用预测和预算来跟踪成本和使用量。 资源优化 您可以通过云监控服务监控资源的使用情况,识别空闲资源,寻找节约成本的机会。也可以根据成本分析阶段的分析结果识
-
访问FusionInsight Manager(MRS 3.x及之后版本) - MapReduce服务 MRS
如图1所示。 图1 集群详情页面 进入“添加安全组规则”页面,添加需要开放权限用户访问公网的IP地址段并勾选“我确认这里设置的公网IP/端口号是可信任的公网访问IP范围,我了解使用0.0.0.0/0会带来安全风险”如图2所示。 图2 添加安全组规则 默认填充的是用户访问公网的IP
-
MapReduce服务 MRS - MapReduce服务 MRS
提供集群状态的监控功能,您能快速掌握服务及主机的健康状态。 提供图形化的指标监控及定制,您能及时的获取系统的关键信息。 提供服务属性的配置功能,满足您实际业务的性能需求。 提供集群、服务、角色实例的操作功能,满足您一键启停等操作需求。 MRS Manager简介 EIP方式访问集群 通过EIP访问快速便捷的访问Manager,及开源组件Web站点。
-
MRS 3.2.0-LTS.1版本补丁说明 - MapReduce服务 MRS
解决Spark连接Jdbcserver任务失败的问题 解决Spark只给视图权限不给表的权限时,Hive可以查询视图,sparksql无法查询视图的问题 补丁兼容关系 MRS 3.2.0-LTS.1.6补丁包中包含所有MRS 3.2.0-LTS.1版本单点问题修复补丁。 安装补丁的影响 请参考安装补丁的影响。 MRS
-
CarbonData数据类型概述 - MapReduce服务 MRS
二级索引表数量 10 二级索引表中的组合列的列数 5 二级索引表中的列名长度(单位:字符) 120 二级索引表名长度(单位:字符) 120 表中所有二级索引表的表名+列名的累积长度*(单位:字符) 3800** * Hive允许的上限值或可用资源的上限值。 ** 二级索引表使用hi
-
配置HBase主备集群容灾 - MapReduce服务 MRS
主备集群上的时间必须一致,而且主备集群上的NTP服务必须使用同一个时间源。 必须在主备集群的所有节点的hosts文件中,配置主备集群所有机器的机器名与业务IP地址的对应关系。 如果主集群的客户端安装在集群外的节点上,也需在该节点的hosts文件中配置主备集群所有机器的机器名与业务IP地址的对应关系。
-
Storm-HBase开发指引 - MapReduce服务 MRS
createTopology()); } 部署运行及结果查看 导出本地jar包,请参见打包Strom样例工程应用。 将1中导出的本地Jar包,4中获取的配置文件和5中获取的jar包合并统一打出完整的业务jar包,请参见打包Strom应用业务。 执行命令提交拓扑。 storm jar /opt/jartarget/source
-
查询或者删除HDFS文件失败 - MapReduce服务 MRS
list”将文件名的不可见字符显示出来。如这里显示出文件名中包含“^M”不可见字符。 图2 显示不可见字符 解决办法 使用shell命令读到文本中记录的该文件名,确认如下命令输出的是该文件在HDFS中的全路径。 cat /tmp/t.txt |awk '{print $8}' 图3 文件路径
-
Storm-HDFS开发指引 - MapReduce服务 MRS
} Storm不支持将HDFS的目的文件路径设置为HDFS的SM4加密分区。 部署运行及结果查看 导出本地jar包,请参见打包Strom样例工程应用。 将1导出的本地Jar包,4中获取的配置文件和5中获取的jar包合并统一打出完整的业务jar包,请参见打包Strom应用业务。
-
ClickHouse本地表设计 - MapReduce服务 MRS
MergeTree引擎在建表的时候支持列字段和表级的TTL。 当列字段中的值过期时,ClickHouse会将其替换成数据类型的默认值。如果分区内,某一列的所有值均已过期,则ClickHouse会从文件系统中删除这个分区目录下的列文件。当表内的数据过期时,ClickHouse会删除所有对应的行。 在列上配置TTL:
-
Spark应用开发简介 - MapReduce服务 MRS
语言开发出来的,且Scala语言具有简洁易懂的特性,推荐用户使用Scala语言进行Spark应用程序开发。 按不同的语言分,Spark的API接口如表1所示。 表1 Spark API接口 接口 说明 Scala API 提供Scala语言的API。由于Scala语言的简洁易懂,
-
配置并导入Flink样例工程 - MapReduce服务 MRS
加“Java”的依赖包。 图18 Add Java 在“Select Library Files”页面,选中“lib”目录下的所有Jar包,然后单击“OK”。 Flink相关的依赖包:选择“lib”目录下的所有Jar包。或者可以根据不同样例工程,最小化选择其对应的Jar包。 当样
-
配置ClickHouse对接OBS源文件 - MapReduce服务 MRS
系统”页面单击对应的文件系统名称,在“文件”页面单击文件名称,文件“链接”即path路径,如图1所示。 图1 文件路径 ak:参数可选,具备访问OBS权限的ak。 sk:参数可选,具备访问OBS权限的sk。 format :文件的格式。 structure:表的结构。 compression:参数可选,压缩类型。
-
配置ClickHouse对接OBS源文件 - MapReduce服务 MRS
系统”页面单击对应的文件系统名称,在“文件”页面单击文件名称,文件“链接”即path路径,如图1所示。 图1 文件路径 ak:参数可选,具备访问OBS权限的ak。 sk:参数可选,具备访问OBS权限的sk。 format :文件的格式。 structure:表的结构。 compression:参数可选,压缩类型。
-
配置Flume对接安全模式Hive - MapReduce服务 MRS
core-site.xml 在Flume实例启动的机器上创建目录,将准备好的上述文件放置在创建的目录下。 例如:“/opt/hivesink-conf/hive-site.xml”。 将“hivemetastore-site.xml”文件中的所有property配置,拷贝至“hive-site
-
Storm-HDFS开发指引 - MapReduce服务 MRS
默认情况下,用户的密码有效期是90天,所以获取的keytab文件的有效期是90天。如果需要延长该用户keytab的有效期,修改用户的密码策略并重新获取keytab。 Kerberos服务的renewable、forwardable开关和票据刷新周期的设置在Kerberos服务的配置页面的
-
资产识别与管理 - MapReduce服务 MRS
资产识别与管理 通信安全授权 MRS服务通过管理控制台为用户发放、管理和使用大数据组件,大数据组件部署在用户的VPC内部,MRS管理控制台需要直接访问部署在用户VPC内的大数据组件时需要开通相应的安全组规则,而开通相应的安全组规则需要获取用户授权,此授权过程称为通信安全授权。 通
-
配置Flume对接安全模式Hive - MapReduce服务 MRS
core-site.xml 在Flume实例启动的机器上创建目录,将准备好的上述文件放置在创建的目录下。 例如:“/opt/hivesink-conf/hive-site.xml”。 将“hivemetastore-site.xml”文件中的所有property配置,复制至“hive-site
-
产品优势 - MapReduce服务 MRS
硬盘亚健康检测和故障处理,对业务不造成实际影响。 自动处理文件系统的故障,自动恢复受影响的业务。 自动处理进程和节点的故障,自动恢复受影响的业务。 自动处理网络故障,自动恢复受影响的业务。 MRS提供统一的可视化大数据集群管理界面,让运维人员更加轻松。 MRS提供统一的可视化大数据集群管理界面,包括服务启停