检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
大数据量,Balance操作可能会对正在运行的业务产生影响。 前提条件 已安装HDFS客户端。 配置Balance任务 使用客户端安装用户登录客户端所在节点。执行命令切换到客户端安装目录,例如“/opt/client”。 cd /opt/client 如果集群为普通模式,需先执行su
大数据量,Balance操作可能会对正在运行的业务产生影响。 前提条件 已安装HDFS客户端。 配置Balance任务 使用客户端安装用户登录客户端所在节点。执行命令切换到客户端安装目录,例如“/opt/client”。 cd /opt/client 如果集群为普通模式,需先执行su
队列的权限。 设置任务的用户需要获取该任务的执行权限,并获取该任务对应的连接的使用权限。 操作步骤 设置作业基本信息 登录“Loader WebUI”界面。 登录FusionInsight Manager系统,具体请参见访问FusionInsight Manager(MRS 3.x及之后版本)。
1版本的集群为例,组件包含Hadoop、Flink组件,集群开启Kerberos认证。 单击“立即购买”,等待MRS集群创建成功。 准备集群配置文件 集群创建成功后,登录FusionInsight Manager创建用于提交Flink作业的集群用户。 选择“系统 > 权限 > 用户 > 添加用户”,在新增用
操作,禁止对该表进行写入、删除等操作,否则可能会造成迁移前后数据不一致。 迁入节点的ClickHouse数据目录有足够的空间。 操作步骤 登录Manager,选择“集群 > 服务 > ClickHouse”, 在ClickHouse服务界面单击“数据迁移”页签,进入数据迁移界面。
INFO表示记录系统及各事件正常运行状态信息。 DEBUG DEBUG表示记录系统及系统的调试信息。 如果您需要修改日志级别,请执行如下操作: 登录FusionInsight Manager系统。 选择“集群 > 服务 > JobGateway > 配置”。 单击“全部配置”。 左边菜
端。 执行检查的用户需要拥有Oozie的“普通用户权限”,及HDFS“/user/oozie”目录的访问权限。 操作步骤 以客户端安装用户登录安装客户端的节点。 执行以下命令,切换到客户端安装目录。 cd 客户端安装目录 执行以下命令配置环境变量并认证用户。 source bigdata_env
Topic输入的字节流量”,统计出“Topic输入的字节流量”值最大的Topic。查看该Topic有哪些Partition以及这些Partition所在的主机信息。 登录到5查询到的主机,执行iostat -d -x命令查看每个磁盘的最后一个指标“%util”: 各个磁盘的“%util”指标都超出阈值(默认
输入正确的HiveQL语句,观察命令是否正确执行。 是,执行4.e。 否,执行4.a。 检查HDFS、Yarn、ZooKeeper等是否正常。 登录MRS集群详情页面,选择“组件管理”。 在服务列表查看HDFS、Yarn、ZooKeeper等服务是否正常。 是,执行4.e。 否,执行4
"org.apache.storm.kafka.bolt.KafkaBolt" configMethods: #使用调用对象内部方法的形式初始化对象 - name: "withTopicSelector" #调用的内部方法名 args: #内部方法需要的入参
队列的权限。 设置任务的用户需要获取该任务的执行权限,并获取该任务对应的连接的使用权限。 操作步骤 设置作业基本信息 登录“Loader WebUI”界面。 登录FusionInsight Manager系统,具体请参见访问集群Manager。 选择“集群 > 服务 > Loader”。
"org.apache.storm.kafka.bolt.KafkaBolt" configMethods: #使用调用对象内部方法的形式初始化对象 - name: "withTopicSelector" #调用的内部方法名 args: #内部方法需要的入参
该特性可以通过下面的配置项开启: spark.sql.statistics.histogram.enabled:指定是否开启直方图功能,默认为false。 配置参数 登录FusionInsight Manager系统,选择“集群 > 待操作集群的名称 > 服务 > Spark2x > 配置”,单击“全部配置”,搜索以下参数。
尔超出预期的数据峰值出现。 当某些业务场景要求在集群扩缩容之后,根据节点数量的变化对资源分配或业务逻辑进行更改时,手动扩缩容的场景需要用户登录集群节点进行操作。对于弹性伸缩场景,MRS支持通过自定义弹性伸缩自动化脚本来解决。自动化脚本可以在弹性伸缩前后执行相应操作,自动适应业务负
该特性可以通过下面的配置项开启: spark.sql.statistics.histogram.enabled:指定是否开启直方图功能,默认为false。 配置参数 登录FusionInsight Manager系统,选择“集群 > 服务 > Spark2x > 配置”,单击“全部配置”,搜索以下参数。 参数
打开FusionInsight Manager页面,在告警列表中,单击此告警所在行的,查看该告警的主机名称和磁盘分区信息。 以root用户登录告警所在节点,用户密码为安装前用户自定义,请咨询系统管理员。 执行df -lmPT | awk '$2 != "iso9660"' | grep
HBase”,单击“HMaster(主)”,打开该HBase实例的WebUI,查看Region Servers上Region分布是否均衡。 以omm用户登录故障RegionServer节点。 进入客户端安装目录,设置环境变量。 cd 客户端安装目录 source bigdata_env 如果集
(`int_id`)); 插入表数据: insert into mysql_table (`int_id`, `float`) VALUES (1,2); 登录ClickHouse客户端安装节点。执行以下命令,切换到客户端安装目录。 cd /opt/client 执行以下命令配置环境变量。 source
jar com.huawei.storm.example.hdfs.SimpleHDFSTopology hdfs-test 拓扑提交成功后请登录HDFS集群查看。 父主题: Storm应用开发常见问题
sqoopInstanceCheck.log Loader实例健康检查日志 审计日志 default.audit Loader操作审计日志(例如:作业的增删改查、用户的登录)。 tomcat日志 catalina.out tomcat的运行日志 catalina. <yyyy-mm-dd >.log tomcat的运行日志