检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
修改MRS集群NTP服务器 如果未配置NTP服务器或已配置的NTP不再使用,管理员可以为MRS集群重新指定或者更换新的NTP服务器,使集群从新的NTP时钟源同步时间。 本章节仅适用于MRS 3.x及以后版本。 前提条件 请准备新的NTP服务器并获取IP地址,并设置好集群与新NTP服务器的网络。
个SFTP服务器操作数据,单击“添加”可增加多行SFTP服务器的配置信息。 表1 连接参数 参数名 说明 示例 名称 SFTP服务器连接的名称。 sftpName Sftp服务器的IP SFTP服务器的IP地址。 10.16.0.1 Sftp服务器端口 SFTP服务器的端口号。 22
配置Oozie业务运行流程 功能描述 描述了一个完整业务的流程定义文件。一般由一个start节点、一个end节点和多个实现具体业务的action节点组成。 参数解释 “workflow.xml”文件中包含的各参数及其含义,请参见表1。 表1 参数含义 参数 含义 name 流程文件名
workflow.xml 功能描述 描述了一个完整业务的流程定义文件。一般由一个start节点、一个end节点和多个实现具体业务的action节点组成。 参数解释 “workflow.xml”文件中包含的各参数及其含义,请参见表1。 表1 参数含义 参数 含义 name 流程文件名
个SFTP服务器操作数据,单击“添加”可增加多行SFTP服务器的配置信息。 表1 连接参数 参数名 说明 示例 名称 SFTP服务器连接的名称。 sftpName Sftp服务器的IP SFTP服务器的IP地址。 10.16.0.1 Sftp服务器端口 SFTP服务器的端口号。 22
parameters:校验集群参数中 Applying for cluster resources:申请集群资源中 Creating VMs:创建虚拟机中 Initializing VMs:初始化虚拟机中 Installing MRS Manager:安装MRS Manager中 Deploying the cluster:部署集群中
间范围规律的,比如:近一个月的数据更新占比最大,可以按照月份创建分区;近一天内的数据更新占比大,可以按照天进行分区。 采用Bucket索引,写入是通过主键Hash打散的,数据会均匀的写入到分区下每个桶。因为各个分区的数据量是会有波动的,分区下桶的个数设计一般会按照最大分区数据量计
问题 为什么在Zookeeper服务器上启用安全的netty配置时,四个字母的命令不能与linux的netcat命令一起使用? 例如: echo stat |netcat host port 回答 Linux的netcat命令没有与Zookeeper服务器安全通信的选项,所以当启用安
问题 为什么在Zookeeper服务器上启用安全的netty配置时,四个字母的命令不能与linux的netcat命令一起使用? 例如: echo stat |netcat host port 回答 Linux的netcat命令没有与Zookeeper服务器安全通信的选项,所以当启用安
xxx。 原因分析 问题1:一般出现executor OOM,都是因为数据量过大,也有可能是因为同一个executor上面同时运行的task太多。 问题2:有些task运行失败会报上述错误。当看到这个报错的时候,需要确认的是丢失的这个task在哪个节点上面运行,一般的情况是这个丢失的task异常退出导致的。
集群运维 登录集群 在创建集群时,MRS支持指定使用密钥或密码的方式登录ECS后台。 登录MRS集群中的节点支持远程登录(VNC方式)和使用密钥或密码方式(SSH方式),远程登录主要用于紧急运维场景,远程登录弹性云服务器进行相关维护操作。其他场景下,建议用户采用SSH方式登录。 集群节点简介
创建HBase表Region 功能简介 一般通过org.apache.hadoop.hbase.client.HBaseAdmin进行多点分割。注意:分割操作只对空Region起作用。 本例使用multiSplit进行多点分割将HBase表按照“-∞~A”、“A~D”、“D~F”
支持从SFTP/FTP服务器导入数据到HDFS/OBS 支持从SFTP/FTP服务器导入数据到HBase表 支持从SFTP/FTP服务器导入数据到Phoenix表 支持从SFTP/FTP服务器导入数据到Hive表 支持从HDFS/OBS导出数据到SFTP服务器 支持从HBase表导出数据到SFTP服务器
检查是否能从NTP服务器获取时间。 继续查看告警附加信息,是否提示不能从NTP服务器获取时间。 是,执行9。 否,执行10。 联系NTP服务器的服务商,解决NTP服务器异常。确保NTP服务器正常后检查告警是否恢复。 是,处理完毕。 否,执行10。 检查从NTP服务器获取的时间是否持续未更新。
创建Storm Spout 功能介绍 Spout是Storm的消息源,它是Topology的消息生产者,一般来说消息源会从一个外部源读取数据并向Topology中发送消息(Tuple)。 一个消息源可以发送多条消息流Stream,可以使用OutputFieldsDeclarer.
为什么有时访问没有权限的parquet表时,在上报“Missing Privileges”错误提示之前,会运行一个Job? 问题 为什么有时访问没有权限的parquet表时,在上报“Missing Privileges”错误提示之前,会运行一个Job? 回答 Spark SQL对
创建Storm Spout 功能介绍 Spout是Storm的消息源,它是Topology的消息生产者,一般来说消息源会从一个外部源读取数据并向Topology中发送消息(Tuple)。 一个消息源可以发送多条消息流Stream,可以使用OutputFieldsDeclarer.
创建Strom Spout 功能介绍 Spout是Storm的消息源,它是Topology的消息生产者,一般来说消息源会从一个外部源读取数据并向Topology中发送消息(Tuple)。 一个消息源可以发送多条消息流Stream,可以使用OutputFieldsDeclarer.
申请一台Windows的ECS访问MRS集群操作Presto。申请ECS访问MRS集群的步骤如下: 在“现有集群”列表中,单击已创建的集群名称。 记录集群的“可用分区”、“虚拟私有云”,以及Master节点的“默认安全组”。 在弹性云服务管理控制台,创建一个新的弹性云服务器。 弹性云服务器的“可用
index.type=BUCKET hoodie.bucket.index.num.buckets=5 判断使用分区表还是非分区表 根据表的使用场景一般将表分为事实表和维度表: 事实表通常整表数据规模较大,以新增数据为主,更新数据占比小,且更新数据大多落在近一段时间范围内(年或月或天),下