检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如何处理用户在使用chrome浏览器时无法显示任务状态的title 问题 用户在使用chrome浏览器浏览Flink Web UI页面时无法显示title。此处以Tasks为例进行分析,用户将鼠标置于Tasks的彩色小方框上,无法显示彩色小框的title说明,如图1所示。正常的显示界面如图2所示。 图1 界面无法显示title
r调度器 对系统的影响 调度器切换过程中,由于要重启Resource Manager,因此切换期间向Yarn提交任务会失败。 调度器切换过程中,正在Yarn上面执行的Job的Task任务会继续执行,但不会启动新的Task。 调度器切换完成后,在Yarn上面执行的任务有可能会失败进而导致业务中断。
如何处理用户在使用chrome浏览器时无法显示任务状态的title 问题 用户在使用chrome浏览器浏览Flink Web UI页面时无法显示title。此处以Tasks为例进行分析,用户将鼠标置于Tasks的彩色小方框上,无法显示彩色小框的title说明,如图1所示。正常的显示界面如图2所示。 图1 界面无法显示title
如何处理用户在使用chrome浏览器时无法显示任务状态的title 问题 用户在使用chrome浏览器浏览Flink Web UI页面时无法显示title。此处以Tasks为例进行分析,用户将鼠标置于Tasks的彩色小方框上,无法显示彩色小框的title说明,如图1所示。正常的显示界面如图2所示。 图1 界面无法显示title
给当前用户添加其他用户库表的HDFS路径的读、写、执行权限,具体配置请参考添加HDFS的Ranger访问权限策略。 在Ranger上为用户添加Spark SQL的访问策略后,需要在HDFS的访问策略中添加相应的路径访问策略,否则无法访问数据文件,具体请参考添加HDFS的Ranger访问权限策略。
通过数据校验,保证数据在存储、传输过程中的数据完整性。 MRS的用户数据保存在HDFS中,HDFS默认采用CRC32C算法校验数据的正确性,同时也支持CRC32校验算法,CRC32C校验速度快于CRC32。HDFS的DataNode节点负责存储校验数据,如果发现客户端传递过来的数据有异常(不完整)就
一个表可以拥有一个或者多个分区,每个分区以文件夹的形式单独存在表文件夹的目录下。对分区内数据进行查询,可缩小查询范围,加快数据的检索速度和可对数据按照一定的条件进行管理。 分区是在创建表的时候用PARTITIONED BY子句定义的。 CREATE EXTERNAL TABLE
创建MRS IAM自定义权限策略 如果系统预置的MRS权限,不满足您的授权要求,可以创建自定义策略。自定义策略中可以添加的授权项(Action)请参考策略及授权项说明。 目前支持以下两种方式创建自定义策略: 可视化视图创建自定义策略:无需了解策略语法,按可视化视图导航栏选择云服务
增加Hive表字段超时 用户问题 增加Hive表字段报错。 问题现象 Hive对包含10000+分区的表执行ALTER TABLE table_name ADD COLUMNS(column_name string) CASCADE;,报错如下: Timeout when executing
“资源”:在界面左边可用主机列表中,勾选指定的主机,单击“>>”,将选中的主机加入已选主机列表。只支持选择本集群中的主机。资源池中的主机列表可以为空。 根据业务需求,可以通过主机名称 、核数、内存、操作系统、平台类型,筛选需要选取的资源主机。 MRS 2.x及之前版本: “名称”:填写资源池的名称。不支持创建名称为“Default”的资源池。
如果未配置NTP服务器或已配置的NTP不再使用,管理员可以为MRS集群重新指定或者更换新的NTP服务器,使集群从新的NTP时钟源同步时间。 本章节仅适用于MRS 3.x及以后版本。 修改MRS集群NTP服务器前提条件 请准备新的NTP服务器并获取IP地址,并设置好集群与新NTP服务器的网络。 请确
s服务器的安全会话。 Kerberos服务在收到TGT请求后,会解析其中的参数来生成对应的TGT,使用客户端指定的用户名的密钥进行加密响应消息。 应用客户端收到TGT响应消息后,解析获取TGT,此时,再由应用客户端(通常是rpc底层)向Kerberos服务获取应用服务端的ST(Server
YARN HA原理与实现方案 YARN中的ResourceManager负责整个集群的资源管理和任务调度,在Hadoop2.4版本之前,ResourceManager在YARN集群中存在单点故障的问题。YARN高可用性方案通过引入冗余的ResourceManager节点的方式,解决了这个基础服务的可靠性和容错性问题。
客户端运行环境已安装1.7或1.8版本的JDK 3. 获取客户端安装包MRS_Services_Client.tar 操作场景 在Linux上安装客户端。 操作步骤 客户端机器的时间与Hadoop集群的时间要保持一致(手动修改客户端机器或者集群的时间),时间差小于5分钟。 MRS集群的时间可通过登录主
设置Hadoop中各模块的RPC通道是否加密。通道包括: 客户端访问HDFS的RPC通道。 HDFS中各模块间的RPC通道,如DataNode与NameNode间的RPC通道。 客户端访问Yarn的RPC通道 NodeManager和ResourceManager间的RPC通道。 Sp
可以调度特定用户的查询首先获取到资源。 两个用户分配不同的资源组,重要的任务可以分配到权重高或优先级高的资源组,调度策略由schedulingPolicy配置,不同的调度策略,会有不同的资源分配顺序。 对于即席查询和批量查询,可以根据不同的SQL类型进行更合理的资源分配。 可以对
扩容成功后,可以在集群详情的“节点管理”页签查看集群的节点信息。 扩容包周期集群 登录MRS管理控制台。 选择“现有集群” ,选中一个运行中的集群并单击集群名称,进入集群信息页面。 选择“节点管理”页签,在需要扩容的节点组的“操作”列单击“扩容”,进入扩容集群页面。 只有运行中的集群才能进行扩容操作。
角色名 产生告警的角色名称。 主机名 异常NTP服务器的IP地址。 对系统的影响 主OMS节点配置的NTP服务器异常,可能会导致主OMS节点与外部服务器不能同步时间,集群时间可能会产生误差。 时差超过5分钟以上时会导致集群外客户端到集群内认证异常,可能会导致作业运行失败。 可能原因 NTP服务器网络异常。
DFS输入路径目录名、输入路径的子目录名及子文件名不能包含特殊字符/\"':;,中的任意字符。 如果设置的作业需要使用指定YARN队列功能,该用户需要已授权有相关YARN队列的权限。 设置任务的用户需要获取该任务的执行权限,并获取该任务对应的连接的使用权限。 操作步骤 设置作业基本信息
使用具有FlinkServer管理员权限的用户登录FusionInsight Manager,选择“集群 > 服务 > Flink”。 对于开启了Kerberos认证的MRS集群,访问Flink WebUI,需提前创建具有FlinkServer管理员权限或应用查看、应用编辑权限的角色,并为用户绑定该