检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
用户在开发前需要使用对接安全模式的Kafka,则需要引入FusionInsight的kafka-clients-*.jar,该jar包可在Kafka客户端目录下获取。 下面列出producer和consumer,以及Flink Stream SQL Join使用主要逻辑代码作为演示。 完整代码参见com
oup”组且拥有HBase权限。 前提条件 获取用户“admin”账号密码。“admin”密码在创建MRS集群时由用户指定。 已安装集群客户端,例如安装目录为“/opt/client”,以下操作的客户端目录只是举例,请根据实际安装目录修改。更新客户端,具体请参见更新客户端(3.x之前版本)。
truststore-password 信任列表密码,获取truststore信息所需密码。 输入3.b中获取的“password”值。 - dataDirs 缓冲区数据保存目录,默认为运行目录。配置多个盘上的目录可以提升传输效率,多个目录使用逗号分隔。如果为集群内,则可以指定在如下目录/srv/BigData
python.org/ftp/python/3.6.6/Python-3.6.6.tgz 执行如下命令,解压python源码压缩包,例如下载在“opt”目录下。 cd /opt tar -xvf Python-3.6.6.tgz 创建Python的安装目录,此处以“/opt/python36”为例。
务在HDFS上的“hdfs://hacluster/hbase/corrupt”目录,当检测到“/hbase/corrupt”目录下存在WAL文件时产生该告警。 当“/hbase/corrupt”目录不存在或不包含WAL文件时,告警消除。 该告警仅适用于MRS 3.3.0及之后版本。
运行Producer.java样例报错获取元数据失败“ERROR fetching topic metadata...” 问题现象 已经拥有Topic访问权限,但是运行Producer.java样例报错获取元数据失败“ERROR fetching topic metadata for
运行Producer.java样例报错获取元数据失败“ERROR fetching topic metadata...” 问题现象 已经拥有Topic访问权限,但是运行Producer.java样例报错获取元数据失败“ERROR fetching topic metadata for
配置HDFS用户访问HDFS文件权限 配置HDFS目录权限 默认情况下,某些HDFS的文件目录权限为777或者750,存在安全风险。建议您在安装完成后修改该HDFS目录的权限,增加用户的安全性。 在HDFS客户端中,使用具有HDFS管理员权限的用户,执行如下命令,将“/user”的目录权限进行修改。 此处将
配置HDFS用户访问HDFS文件权限 配置HDFS目录权限 默认情况下,某些HDFS的文件目录权限为777或者750,存在安全风险。建议您在安装完成后修改该HDFS目录的权限,增加用户的安全性。 在HDFS客户端中,使用具有HDFS管理员权限的用户,执行如下命令,将“/user”的目录权限进行修改。 此处将
用户在开发前需要使用对接安全模式的Kafka,则需要引入MRS的kafka-client-xx.x.x.jar,该jar包可在MRS client目录下获取。 样例代码 下面列出producer和consumer主要逻辑代码作为演示。 完整代码参见com.huawei.bigdata.flink
用户在开发前需要使用对接安全模式的Kafka,则需要引入MRS的kafka-client-xx.x.x.jar,该jar包可在MRS client目录下获取。 代码样例 下面列出producer和consumer主要逻辑代码作为演示。 完整代码参见com.huawei.bigdata.flink
这种阻塞现象是由于Hadoop的初始设计造成的。在Hadoop中,NameNode作为单独的机器,在其namespace内协调HDFS的各种操作。这些操作包括获取数据块位置,列出目录及创建文件。NameNode接受HDFS的操作,将其视作RPC调用并置入FIFO调用队列,供读取线程处理。虽然FIFO在先到先服
访问Spark应用获取的restful接口信息有误 问题 当Spark应用结束后,访问该应用的restful接口获取job信息,发现job信息中“numActiveTasks”的值是负数,如图1所示。 图1 job信息 numActiveTasks是指当前正在运行task的个数。
向ZooKeeper数据目录空间写入大量数据,导致ZooKeeper无法对外正常提供服务,导致依赖告警目录的上游组件(例如Yarn、Flink、Spark等)的业务异常。 可能原因 往ZooKeeper数据目录空间写入大量数据。 自定义阈值设置不合理。 处理步骤 检查告警目录是否写入大量数据
用户同时还需要至少manager_viewer权限的角色。 获取运行状态的Oozie服务器(任意实例)URL,如“https://10.1.130.10:21003/oozie”。 获取运行状态的Oozie服务器主机名,如“10-1-130-10”。 获取Yarn ResourceManager主节点IP,如10
sftp-connector Sftp服务器的IP SFTP服务器的IP地址。 Sftp服务器端口 SFTP服务器的端口号。 Sftp用户名 访问SFTP服务器的用户名。 Sftp密码 访问SFTP服务器的密码。 Sftp公钥 Sftp服务器公钥。 oracle-partition-connector
的聚合分析查询性能非常优异,比其他分析型数据库速度快一个数量级。 前提条件 已安装客户端,例如安装目录为“/opt/client”。以下操作的客户端目录只是举例,请根据实际安装目录修改。在使用客户端前,需要先下载并更新客户端配置文件,确认Manager的主管理节点后才能使用客户端。
产生告警的集群或系统名称 服务名 产生告警的服务名称 角色名 产生告警的角色名称 主机名 产生告警的主机名 对系统的影响 ClickHouse服务异常,无法通过FusionInsight Manager对ClickHouse进行集群操作,无法使用ClickHouse服务功能。 可能原因
用户同时还需要至少有manager_viewer权限的角色。 获取运行状态的Oozie服务器(任意实例)URL,如“https://10.1.130.10:21003/oozie”。 获取运行状态的Oozie服务器主机名,如“10-1-130-10”。 获取Yarn ResourceManager主节点IP,如“10
文件系统操作权限: 查看、修改、创建文件 查看、创建目录 查看、修改文件属组 查看、设置用户磁盘配额 HDFS管理操作权限: 查看webUI页面状态 查看、设置HDFS主备状态 进入、退出HDFS安全模式 检查HDFS文件系统 登录FTP服务 请参见修改MRS集群组件运行用户密码。 hbase