检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Flink Stream SQL Join增强 Flink的Table API&SQL是一种用于Scala和Java的语言集成式查询API,它支持非常直观的从关系运算符(如选择、筛选和连接)进行组合查询。Table API&SQL详细内容请参见官网:https://ci.apache.
以利用调测工具调试业务进程,可能造成进程中敏感信息泄露。但是此类攻击需要攻击者拿到集群节点的Shell权限后才可以执行,MRS集群部署在VPC内,有安全组控制访问,故不将MRS集群暴露给不可信网络即可消解该风险。 父主题: 安全
通过ThriftServer实例操作HBase表 操作场景 传入ThriftServer实例所在host和提供服务的port,根据认证凭据及配置文件新建Thrift客户端,访问ThriftServer,进行根据指定namespace获取tablename以及创建表、删除表的操作。
通过ThriftServer实例操作HBase表 操作场景 传入ThriftServer实例所在host和提供服务的port,根据认证凭据及配置文件新建Thrift客户端,访问ThriftServer,进行根据指定namespace获取tablename以及创建表、删除表的操作。
MRS大数据组件 解决Hive和Spark路径下adapter-hadoop-wrapper-file-system包版本错误问题 解决HBase服务Manager上保存多命名空间,后台不生效问题 新增HDFSWrapper支持AbstractFileSystem 补丁兼容关系 无。 安装补丁的影响
验证弹性云服务器节点是否与集群Master节点的IP是否连通? 例如,执行以下命令:ping Master节点IP地址 是,执行18。 否,检查VPC、安全组是否正确,是否与MRS集群在相同VPC和安全组,然后执行18。 执行以下命令配置环境变量: source /opt/Bigdata/client/bigdata_env
MRS大数据组件 解决通过sparksql和beeline进行insert overwrite操作时,旧文件无法进行trash问题 MRS 1.9.3.1 修复问题列表: MRS Manager 解决自定义集群缩容Task节点失败问题 MRS大数据组件 解决Hive和Spark路径下adapte
的API接口内容请参考HDFS Java API接口介绍。 常用概念 Colocation 同分布(Colocation)功能是将存在关联关系的数据或可能要进行关联操作的数据存储在相同的存储节点上。HDFS文件同分布的特性是,将那些需进行关联操作的文件存放在相同的数据节点上,在进
统一的集群管理能力。 MRS管理控制台与MRS集群Manager页面的区别和联系请参考表1。 表1 MRS管理控制台与Manager区别说明 常用操作 MRS管理控制台 MRS集群Manager 切换子网、添加安全组规则、OBS权限控制、管理委托、IAM用户同步 支持 不支持 新增节点组、扩容、缩容、升级规格
在FusionInsight Manager界面,选择“运维 > 日志 > 下载”。 在“服务”中勾选“Controller”和“OmmServer”,单击“确定”。 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后1小时,单击“下载”。 请联系运维人员,并发送已收集的故障日志信息。
而,由于语义仅被处理一次,重新处理的结果和没有失败处理的结果是一致的。 因此,Direct API消除了需要使用WAL和Receivers的情况,且确保每个Kafka记录仅被接收一次,这种接收更加高效。使得Spark Streaming和Kafka可以很好地整合在一起。总体来说,
Manager服务期间会引起服务暂时不可用,滚动重启服务不断服。 MRS 1.8.10.6补丁安装后,需要重新下载安装全量的客户端,包含Master节点的原始客户端和虚拟私有云的其他节点使用的客户端(即您自行搭建的客户端)。 主备Master节点的原始客户端全量更新,请参见更新客户端配置(2.x及之前版本)。
WITH WITH子句定义查询子句的命名关系,可以展平嵌套查询或简化子查询语句。 例如下面的查询语句是等价的: SELECT name, maxprice FROM (SELECT name, MAX(price) AS maxprice FROM fruit GROUP BY name)
org/confluence/display/hive/languagemanual。MRS Hive版本与开源Hive版本的对应关系如表1所示。 表1 MRS Hive与开源版本对应关系一览表 MRS版本 开源Hive版本 MRS 1.9.x 2.3.3 父主题: Hive应用开发常见问题
规划IoTDB容量 IoTDB自身有多副本机制,region(schema region和data region)默认是3副本。ConfigNode上保存region和IoTDBServer的映射关系,IoTDBServer保存region数据,直接使用操作系统自身的文件系统来管理元数据和数据文件。
定弹性公网IP步骤如下: 在虚拟私有云管理控制台,申请一个弹性IP地址,并与弹性云服务器绑定。 具体请参见“虚拟私有云 > 用户指南 > 弹性公网IP > 为弹性云服务器申请和绑定弹性公网IP”。 为MRS集群开放安全组规则。 在集群Master节点和Core节点的安全组添加安全
MRS可以直接处理OBS中的数据,客户可以基于OBS服务Web界面和OBS客户端对数据进行浏览、管理和使用,同时可以通过REST API接口方式单独或集成到业务程序进行管理和访问数据。 数据存储在OBS:数据存储和计算分离,集群存储成本低,存储量不受限制,并且集群可以随时删除,但
or-java-5.1.21.jar。 重启Loader服务。 MRS 3.x及之后版本: 修改关系型数据库对应的驱动jar包文件权限。 登录Loader服务的主备管理节点,获取关系型数据库对应的驱动jar包保存在Loader服务主备节点的lib路径:“${BIGDATA_HOM
Manager服务期间会引起服务暂时不可用,滚动重启服务不断服。 MRS 1.9.0.5补丁安装后,需要重新下载安装全量的客户端,包含Master节点的原始客户端和虚拟私有云的其他节点使用的客户端(即您自行搭建的客户端)。 主备Master节点的原始客户端全量更新,请参见更新客户端配置(2.x及之前版本)。
帮助系统避免单点故障,建立可靠的应用程序。 提供分布式协作服务和维护配置信息。 ZooKeeper结构 ZooKeeper集群中的节点分为三种角色:Leader、Follower和Observer,其结构和相互关系如图1所示。通常来说,需要在集群中配置奇数个(2N+1)ZooK