检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
IDEA不要使用相同的workspace和相同路径下的示例工程。 安装Maven 开发环境的基本配置。用于项目管理,贯穿软件开发生命周期。 7-zip 用于解压“*.zip”和“*.rar”文件,支持7-Zip 16.04版本。 父主题: 准备ClickHouse应用开发环境
SQL防御前提条件 已安装包含HetuEngine服务的集群客户端,安装目录如“/opt/hadoopclient”。 HetuEngine服务及计算实例运行状态正常。 如集群已启用Kerberos认证,需提前创建HetuEngine的用户并授予相关权限,且需要通过Ranger为该用户
设置客户端的keytab和zookeeper认证principal USER_KEYTAB_FILE = "src/main/resources/user.keytab"; ZOOKEEPER_DEFAULT_SERVER_PRINCIPAL = "zookeeper/" + getUserRealm();
Kafka权限参数 参数名称 描述 Policy Type Access。 Policy Conditions IP过滤策略,可自定义,配置当前策略适用的主机节点,可填写一个或多个IP或IP段,并且IP填写支持“*”通配符,例如:192.168.1.10,192.168.1.20或者192.168
环境变量。 source /opt/client/bigdata_env 执行zkCli.sh -server 'ZooKeeper实例IP地址:ZooKeeper连接端口'命令登录ZooKeeper。 ZooKeeper连接端口通常为2181,可通过查看ZooKeeper服务配置参数“clientPort”获取。
打开FusionInsight Manager页面,选择“运维 > 告警 > 告警”,单击此告警所在行的,获取告警所在主机地址和磁盘分区。 以root用户登录告警所在主机,用户密码为安装前用户自定义,请咨询系统管理员。 执行命令df -i | grep -iE "分区名称|Filesystem",查看磁盘当前Inode使用率。
KafkaToHudi \ --enable-hive-sync \ --allow-fetch-from-multiple-sources \ --allow-continuous-when-multiple-sources 当“source”的类型是“kafka source”时,“--schem
“SS_REST_SERVER”即:ResourceManager IP地址:端口 ResourceManager IP地址:可登录FusionInsight Manager界面,选择“集群 > 服务 > Yarn > 实例”查看任一ResourceManager的业务IP获取。 端口:ResourceMana
MapReduce样例工程介绍 MRS样例工程获取地址为https://github.com/huaweicloud/huaweicloud-mrs-example,切换分支为与MRS集群相匹配的版本分支,然后下载压缩包到本地后解压,即可获取各组件对应的样例代码工程。 当前MRS
滚动重启任务完成后,单击“完成”。 通过Manager重启集群 MRS 3.x及之后版本 登录FusionInsight Manager。 选择“集群 > 概览 > 更多 > 重启”。 MRS 3.3.0及之后版本的Manager界面中,“集群 > 概览”页面已移除,可直接在“主页
“SS_REST_SERVER”即:ResourceManager IP地址:端口 ResourceManager IP地址:可登录FusionInsight Manager界面,选择“集群 > 服务 > Yarn > 实例”查看任一ResourceManager的业务IP获取。 端口:ResourceMana
搜索配置项“ipc.server.read.threadpool.size”,查看其值。如果值小于5,则设置为5。 单击“保存”,单击“确定”。 在HDFS的“实例”页面,先勾选发出该告警的NameService的备NameNode,在“更多”中单击“重启实例”,输入密码后单击“确定”,等待备NameNode启动完毕。
样例代码文件夹中的/opt/impala_examples/conf文件夹,并在client.properties中填入impalad的ip地址。 在cmd或Intellij中执行mvn package ,在工程target目录下获取jar包,比如“impala-examples-mrs-2
据迁移,MRS旧版本中未自带Sqoop,客户可参考此文档自行安装使用。MRS 3.1.0及之后版本已支持创建集群时勾选Sqoop组件,请创建集群时勾选即可。 本章节仅适用于MRS 3.0.2及MRS 3.0.5版本。 前提条件 已安装MRS客户端的节点,且已安装 jdk环境。 Sqoop1
error", e); } [2]test.test()传入参数为待访问的ThriftServer实例所在节点ip地址,需根据实际运行集群情况进行修改,且该节点ip需要配置到运行样例代码的本机hosts文件中。 “THRIFT_PORT”为ThriftServer实例的配置参数"hbase
Kafka权限参数 参数名称 描述 Policy Type Access。 Policy Conditions IP过滤策略,可自定义,配置当前策略适用的主机节点,可填写一个或多个IP或IP段,并且IP填写支持“*”通配符,例如:192.168.1.10,192.168.1.20或者192.168
topic中的角色称为Producer。 Consumer 从Kafka topic中获取消息的角色称为Consumer。 Broker Kafka集群中的每一个节点服务器称为Broker。 父主题: Kafka应用开发概述
接到Elasticsearch 7.x或更高版本的集群。 hosts 必选 String 要连接的一台或多台Elasticsearch主机地址。 例如:'http://10.10.10.10:24100;http://10.10.10.10:24100' index 必选 String
据不符合转换、清洗规则。 日志:查看作业在MapReduce执行的日志信息。 本章节适用于MRS 3.x及后续版本。 前提条件 获取登录“Loader WebUI”的账户和密码。 操作步骤 登录“Loader WebUI”界面。 登录FusionInsight Manager系统,具体请参见访问集群Manager。
> 告警 > 告警”,等待约10分钟后,在告警列表中查看该告警是否自动清除。 是,处理完毕。 否,查看该告警详细信息,记录上报告警的主机IP地址。执行2。 以root用户登录产生告警的主机,执行su - omm,切换到omm用户。 执行如下命令查看进程状态是否处于异常状态。 ps