检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
问题现象 客户想使用Python3.x的环境对接开启Kerberos认证的Kafka的集群。 处理步骤 登录Master节点,执行如下命令,配置华为云欧拉镜像源。 wget http://mirrors.myhuaweicloud.com/repo/mirrors_source.sh &&
SDK”为“SDKs”中添加的JDK。 图6 修改“Module SDK” 单击“Apply”,单击“OK”。 配置Maven。 参考配置华为开源镜像仓章节描述,增加开源镜像仓地址等配置信息到本地Maven的“setting.xml”配置文件。 修改完成后,在IntelliJ IDEA选择“File
查看log4j 修改后可以正常提交作业。 图4 提交作业正常 处理步骤 判断用户是在集群外还是集群内使用客户端提交作业。 若在集群内使用客户端,切换到omm用户提交作业。 若在集群外使用客户端,则要使用root用户提交作业。 检查“flink-conf.yaml”文件各参数是否配置正确。
每个SQL引擎在进行SQL业务响应、执行过程中,基于SQL防御策略进行主动防御行为。 管理员可将SQL防御行为在“提示”、“拦截”、“熔断”选项之间进行灵活切换,系统会将发生的SQL防御事件实时写入到防御审计日志中。运维人员可进行日志分析,评估现网SQL质量,提前感知潜在SQL风险,并做出有效预防措施。
查看ZooKeeper角色实例的IP地址。 记录ZooKeeper角色实例其中任意一个的IP地址即可。 登录安装客户端的节点。 执行以下命令,切换到客户端目录,例如“/opt/client/Kafka/kafka/bin”。 cd /opt/client/Kafka/kafka/bin
移后,不会导致新迁移后的磁盘空间不足。 使用Kafka客户端迁移数据 以客户端安装用户,登录已安装Kafka客户端的节点。 执行以下命令,切换到Kafka客户端安装目录,例如“/opt/kafkaclient”。 cd /opt/kafkaclient 执行以下命令,配置环境变量。
以客户端安装用户,登录安装客户端的节点。 执行以下命令,切换到客户端安装目录。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 执行以下命令,进行用户认证。(普通模式跳过此步骤) kinit 组件业务用户 执行以下命令切换到Kafka客户端安装目录。 cd
当分区的一个副本所在节点故障时,无法满足最小写入成功的副本数,那么将会导致业务写入失败。 参数配置项为服务级配置需要重启Kafka,建议在变更窗口做服务级配置修改。 参数描述 如果业务需要保证高可用和高性能。 参考修改集群服务配置参数进入Kafka服务全部配置页面,在服务端配置如表1中参数。
配置”,搜索hadoop.rpc.protection查看。 针对MRS 3.x之前版本,在集群详情页选择“组件管理 > HDFS > 服务配置”,将“基础配置”切换为“全部配置”,搜索hadoop.rpc.protection查看。 操作步骤 进入Yarn服务参数“全部配置”界面,具体操作请参考修改集群服务配置参数。
根据业务情况,准备好客户端,登录安装客户端的节点。 请根据客户端所在位置,参考使用MRS客户端章节,登录安装客户端的节点。 执行以下命令,切换到客户端目录,例如“/opt/client/Kafka/kafka/bin”。 cd /opt/client/Kafka/kafka/bin
函数,那么,在安全模式与普通模式互转时,需要充分评估可能的风险。 操作示例 以Hive客户端安装用户登录安装客户端的节点。 执行以下命令,切换到客户端安装目录,配置环境变量并认证用户。 cd 客户端安装目录 source bigdata_env kinit Hive业务用户 执行以下命令登录Hive客户端。
用Oozie调度Spark2x访问HBase以及Hive。 使用客户端上传Oozie的example文件到HDFS。 登录客户端所在节点,切换到客户端所在目录,例如“/opt/client”。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env
properties”中使用环境变量。 本章节适用于MRS 3.x及之后版本。 安装Flume客户端。 以root用户登录安装Flume客户端所在节点。 切换到以下目录。 cd Flume客户端安装目录/fusioninsight-flume-Flume组件版本号/conf 在该目录下的“flume-env
系统当前指标取值满足自定义的告警设置条件。 对系统的影响 Kafka服务未完全同步的Partition数过多,会影响服务的可靠性,一旦发生leader切换,可能会导致丢数据。 可能原因 部分Broker实例所在节点故障或者实例停止运行,导致Kafka中某些Partition的副本下线。 处理步骤
本章节适用于MRS 3.x及以后版本。 以omm用户登录主管理节点。 用户只需在主管理节点执行此操作,不支持在备管理节点上配置定时备份。 执行以下命令,切换目录。 cd ${BIGDATA_HOME}/om-server/om/sbin 执行以下命令,配置定时备份Manager告警、审计或者服务审计信息。
的,查看该告警的主机名称。 以root用户登录该告警的主机地址,用户密码为安装前用户自定义,请咨询系统管理员。 执行命令su - omm,切换至omm用户。 执行sh ${BIGDATA_HOME}/om-server/OMS/workspace0/ha/module/hacom/script/status_ha
在“Dependencies”页面,修改“Module SDK”为“SDKs”中添加的JDK。 单击“Apply”,单击“OK”。 配置Maven。 参考配置华为开源镜像仓章节描述,增加开源镜像仓地址等配置信息到本地Maven的“setting.xml”配置文件。 修改完成后,在IntelliJ IDEA选择“File
SDK”为“SDKs”中添加的JDK。 图6 修改“Module SDK” 单击“Apply”,单击“OK”。 配置Maven。 参考配置华为开源镜像仓章节描述,增加开源镜像仓地址等配置信息到本地Maven的“setting.xml”配置文件。 修改完成后,在IntelliJ IDEA选择“File
e频繁进行flush、compact、split操作需要消耗较大的CPU和网络资源,并且RegionServer压力也比较大。 本实践基于华为云MapReduce服务,用于指导您创建MRS集群后,使用BulkLoad方式向HBase中批量导入本地数据,在首次数据加载时,能极大的提高写入效率,并降低对Region
径只包含大写字母、小写字母、数字以及_-?.@+=字符。 使用客户端 在已安装客户端的节点,执行sudo su - omm命令切换用户。执行以下命令切换到客户端目录: cd /opt/client 执行以下命令配置环境变量: source bigdata_env 如果当前集群已启