检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
JDK产生异常,提示“Problem performing GSS wrap”信息 Structured Streaming的cluster模式,在数据处理过程中终止ApplicationManager,应用失败 从checkpoint恢复spark应用的限制 第三方jar包跨平台
配置SSL传输,用户主要在客户端的“flink-conf.yaml”文件中做如下配置: 打开SSL开关和设置SSL加密算法,配置参数如表2所示,请根据实际情况修改对应参数值。
JDK产生异常,提示“Problem performing GSS wrap”信息 Structured Streaming的cluster模式,在数据处理过程中终止ApplicationManager,应用失败 从checkpoint恢复spark应用的限制 第三方jar包跨平台
JDK产生异常,提示“Problem performing GSS wrap”信息 Structured Streaming的cluster模式,在数据处理过程中终止ApplicationManager,应用失败 从checkpoint恢复spark应用的限制 第三方jar包跨平台
JDK产生异常,提示“Problem performing GSS wrap”信息 Structured Streaming的cluster模式,在数据处理过程中终止ApplicationManager,应用失败 从checkpoint恢复spark应用的限制 第三方jar包跨平台
完整客户端 选择平台类型 客户端类型必须与待安装客户端的节点架构匹配,否则客户端会安装失败。 LTS版本集群仅支持下载与Manager平台类型一致的客户端软件包。 x86_64:可以部署在X86平台的客户端软件包。 aarch64:可以部署在鲲鹏服务器的客户端软件包。
下图清晰地描述了MapReduce算法的整个流程。 图3 算法流程 概念上shuffle就是一个沟通数据连接的桥梁,实际上shuffle这一部分是如何实现的呢,下面就以Spark为例讲一下shuffle在Spark中的实现。
配置SSL传输,用户主要在客户端的“flink-conf.yaml”文件中做如下配置: 打开SSL开关和设置SSL加密算法,配置参数如表2所示,请根据实际情况修改对应参数值。
多租户平台: 租户是MRS大数据平台的核心概念,使传统的以用户为核心的大数据平台向以多租户为核心的大数据平台转变,更好的适应现代企业多租户应用环境,如图2所示。 图2 以用户为核心的平台和以多租户为核心的平台 对于以用户为核心的大数据平台,用户直接访问并使用全部的资源和服务。
获取配置文件: 登录FusionInsight Manager,选择“集群 > 概览 > 更多 > 下载客户端”,“选择客户端类型”设置为“仅配置文件”,根据待安装客户端节点的节点类型选择正确的平台类型后(x86选择x86_64,ARM选择aarch64),勾选“仅保存到如下路径”
图1 客户端信息 如需手动添加已安装好的客户端信息,单击“添加”,根据界面提示手动添加客户端的IP地址、安装路径、用户、平台信息、注册信息等内容。 配置好客户端信息,单击“确定”,添加成功。 手动注册的客户端信息也可以手动进行修改或者删除。
所以可以选择一种压缩率非常高的压缩算法。 编解码器可配置为Snappy,Benchmark测试结果显示Snappy是非常平衡以及高效的编码器。 mapreduce.map.output.compress.codec 参数解释:指定用于压缩的编解码器。
ALTER TABLE employees_info_extended ADD COLUMNS (tel_phone STRING, email STRING); 建表时配置Hive数据加密 指定表的格式为RCFile(推荐使用)或SequenceFile,加密算法为ARC4Codec
所以可以选择一种压缩率非常高的压缩算法。 编解码器可配置为Snappy,Benchmark测试结果显示Snappy是非常平衡以及高效的编码器。
数据导入集群后,就可以继续基于大数据平台上层应用对数据进行分析处理了。 父主题: 数据迁移
完整客户端 选择平台类型 客户端类型必须与待安装客户端的节点架构匹配,否则客户端会安装失败。LTS版本集群仅支持下载与Manager平台类型一致的客户端软件包。 x86_64:可以部署在X86平台的客户端软件包。 aarch64:可以部署在TaiShan服务器的客户端软件包。
安全机制 提供基于Kerberos的认证以及可插拔的授权机制,提供支持SSL的Storm UI以及Log Viewer界面,同时支持与大数据平台其他组件(如ZooKeeper,HDFS等)进行安全集成。
华为云的安全责任在于保障其所提供的IaaS、PaaS和SaaS各类各项云服务自身的安全,涵盖华为云数据中心的物理环境设施和运行其上的基础服务、平台服务、应用服务等。这不仅包括华为云基础设施和各项云服务技术的安全功能和性能本身,也包括运维运营安全,以及更广义的安全合规遵从。
在华为云严选商城中有提供基于Apache Kylin的企业级大数据智能分析平台Kyligence Enterprise,您可以根据需要选择使用。 父主题: 周边生态对接类
该特性仅支持在FlinkServer平台使用。 FlinkSQL需要使用default方言。 过滤条件中的字段大小写要与FlinkSQL中字段大小写一致。 该特性不支持Hive视图表。 配置FlinkSQL行过滤流程 配置FlinkServer自定义参数。