检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
长时间提交作业,manager executor进程会内存溢出 支持提交作业,manager executor可配置并发度功能 MRS manager管理面看不到Kafka新建的topic 安全集群API方式提交Spark Submit作业操作HBase表,HBase表权限控制未生效 MRS
查看MapReduce任务是否能成功执行。 是,执行2.e。 否,执行2.b。 检查Yarn服务状态。 登录MRS集群详情页面,选择“告警管理”。 在告警列表中,查看是否有“ALM-18000 Yarn服务不可用”产生。 是,执行2.c。 否,执行3。 参考ALM-18000 Yarn服务不可用(2
安装客户端,具体请参考安装客户端章节。 进入ZooKeeper实例页面: 单击集群名称,登录集群详情页面,选择“组件管理 > ZooKeeper > 实例”。 若集群详情页面没有“组件管理”页签,请先完成IAM用户同步(在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步)。
参考准备本地应用开发环境将准备好的Python虚拟环境打包,获取“venv.zip”文件。 zip -q -r venv.zip venv/ 以root用户登录主管理节点,将1和2获取的“venv.zip”、“pyflink-sql.py”和“datagen2kafka.sql”文件上传至客户端环境。
参考准备本地应用开发环境将准备好的Python虚拟环境打包,获取“venv.zip”文件。 zip -q -r venv.zip venv/ 以root用户登录主管理节点,将1和2获取的“venv.zip”、“pyflink-sql.py”和“datagen2kafka.sql”文件上传至客户端环境。
指标共享,再重新开启指标共享功能。 图1 开启集群指标共享 重新打开弹性伸缩 升级完补丁后需要重新打开弹性伸缩,操作如下: 登录华为云管理控制台,在“现有集群”列表中选择对应集群,单击“弹性伸缩”。 开启安装前关闭的弹性策略。 父主题: MRS 3.2.0-LTS.1.10补丁说明
Kafka服务中Broker实例状态异常。 处理步骤 检查KrbServer服务状态。(普通模式集群跳过此步骤) 在FusionInsight Manager管理界面,选择“集群 > 待操作集群的名称 > 服务 > KrbServer”。 查看KrbServer服务的运行状态是否为“良好”。 是,执行5。
normalize()将根据参数form给定的Unicode规范化形式 (包括NFC、NFD、NFKC、NFKD)返回标准字符串,如未指定参数,默认使用NFC。 select to_utf8('é'); _col0 ------- c3 a9 (1 row) select to_utf8('é');
不同的Eclipse不要使用相同的workspace和相同路径下的示例工程。 准备一个应用程序运行测试的Linux环境。 准备运行调测环境 在弹性云服务器管理控制台,申请一个新的弹性云服务器,用于应用开发、运行、调测。 弹性云服务器的安全组需要和MRS集群Master节点的安全组相同。 弹性云服务器
一个表可以拥有一个或多个分区,每个分区以文件夹的形式单独存在表文件夹的目录下。对分区内数据进行查询,可缩小查询范围,加快数据的检索速度,还可对数据按照一定的条件进行管理。 -- 使用关键字PARTITIONED BY指定分区列名及数据类型 PARTITIONED BY(entrytime STRING) ROW
对应的角色实例不可用。 操作步骤 MRS 3.x之前的版本集群执行以下操作: 登录MRS控制台,选择“现有集群”,单击集群名称。选择“组件管理 > Yarn > 实例”。 单击“角色”列“NodeManager”角色实例名称,并切换到“实例配置”。单击“基础配置”下拉菜单,选择“全部配置”,在搜索框中输入以下参数。
挡”的属性,给用户带来极不友好的体验,所以MRS服务的ClickHouse实例对这些工作做了统一的打包处理,适配成了“自动挡”,实现了统一管理,灵活易用。 具体部署形态上,一个ClickHouse实例将包含3个ZooKeeper节点和多个ClickHouse节点,采用Dedicated
Hive对接外部LDAP配置说明 使用Kafka Eagle对接MRS Kafka 使用Jupyter Notebook对接MRS Spark 集群管理类 MRS集群阈值类告警配置说明 提交Spark任务到新增Task节点 配置MRS集群弹性伸缩 组件应用开发规范类 ClickHouse应用开发规范
{impalad实例ip}:/opt/Bigdata/FusionInsight_Impala_***/***_Impalad/etc/ 登录到manager管理页面上,找到impala组件,然后在impalad实例中添加如下自定义配置项及值: --fair_scheduler_allocation_path
file found. Using default configuration: logging only errors to the console. ---- Begin executing sql: CREATE TABLE IF NOT EXISTS CHILD (NAME STRING
登录ClickHouse服务异常的实例主机节点,并通过ping其他正常ClickHouse实例节点IP的方式进行网络是否互通验证。 是,执行3。 否,联系网络管理员修复网络。 以客户端安装用户,登录客户端的节点,执行如下命令: cd {客户端安装路径} source bigdata_env 集群已启用Kerberos认证(安全模式):
meNode备份。当一台机器故障时,可以迅速地自动进行NameNode主备切换。或者当主NameNode节点需要进行维护时,通过MRS集群管理员控制,可以手动进行NameNode主备切换,从而保证集群在维护期间的可用性。 有关HDFS自动故障转移功能,请参阅: MRS 3.2.0之前版本:http://hadoop
取“user.keytab”、“krb5.conf”,并在Linux环境上创建文件夹保存这些配置文件,例如“/opt/conf”。 请联系管理员获取相应账号对应权限的“user.keytab”和“krb5.conf”文件,“hbase-site.xml”从HBase客户端获取,例
用户能看到哪个队列的任务,要看这个用户是否有这个队列的admin权限。 如果当前组件使用了Ranger进行权限控制,需基于Ranger配置相关策略进行权限管理。 运行结果: { "apps": { "app": [ {
数(参数说明请参考参考信息),保存并重启Storm服务。 MRS Manager界面操作入口:登录MRS Manager,依次选择 “服务管理 > Storm> 配置”。 FusionInsight Manager界面操作入口:登录FusionInsight Manager,选择“集群