检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
资产识别与管理 通信安全授权 MRS服务通过管理控制台为用户发放、管理和使用大数据组件，大数据组件部署在用户的VPC内部，MRS管理控制台需要直接访问部署在用户VPC内的大数据组件时需要开通相应的安全组规则，而开通相应的安全组规则需要获取用户授权，此授权过程称为通信安全授权。 通
ourceManager/21/cluster/scheduler? openQueues= ^default$ 原因分析 页面链接无法识别符号“^”，导致页面访问失败。 处理步骤 登录Manager页面，选择“集群 > 服务 > Yarn > 配置 > 全部配置”。 在搜索框搜索“yarn
ala中一个中文字符的长度为“3”，从而导致在Impala SQL中使用substr()，substring()，strleft()等函数截取中文字符时，不能把中文当做1个字符长度来处理，导致报编码问题。 处理步骤 登录Impala客户端安装节点，执行以下命令。 cd 客户端安装目录
Hive复杂类型字段名称中包含特殊字符，导致建表失败。 回答 Hive不支持复杂类型字段名称中包含特殊字符。 特殊字符是指英文大小写字母、阿拉伯数字、中文字符、葡萄牙文字符以外的其他字符。 用户在创建相关字段时，应避免使用相关特殊字符。 父主题： Hive常见问题
作业提交参数间用空格隔开导致参数信息不被识别如何处理？ 问： 作业提交参数间用空格隔开会导致参数信息不被识别吗？ 答： 不同参数间用空格隔开，可通过在参数名前添加@的方式防止参数信息被明文存储，例如: @password=XXXXXX进行使用。 父主题： 作业管理类
Hive复杂类型字段名称中包含特殊字符，导致建表失败。 回答 Hive不支持复杂类型字段名称中包含特殊字符，特殊字符是指英文大小写字母、阿拉伯数字、中文字符、葡萄牙文字符以外的其他字符。 父主题： Hive常见问题
at index” 问题 运行应用程序时，操作失败，日志显示如图1所示。 图1 操作失败日志 回答 可能的原因是URL中带空格导致服务器端无法正确识别URL。 需要去掉URL中的空格。 父主题： Manager应用开发常见问题
数据迁移到MRS前信息收集 由于离线大数据搬迁有一定的灵活性，迁移前需要掌握现有集群的详细信息，以能够更好的进行迁移决策。 业务信息调研 大数据平台及业务的架构图。 大数据平台和业务的数据流图（包括峰值和均值流量等）。 识别平台数据接入源、大数据平台数据流入方式（实时数据上报、批量数据抽取）、分析平台数据流向。
SparkSQL建表参数规范 规则 建表必须指定primaryKey和preCombineField。 Hudi表提供了数据更新的能力和幂等写入的能力，该能力要求数据记录必须设置主键用来识别重复数据和更新操作。不指定主键会导致表丢失数据更新能力，不指定preCombineField会导致主键重复。
配置YARN-Client和YARN-Cluster不同模式下的环境变量 配置场景 当前，在YARN-Client和YARN-Cluster模式下，两种模式的客户端存在冲突的配置，即当客户端为一种模式的配置时，会导致在另一种模式下提交任务失败。 为避免出现如上情况，添加表1中的配置项，避免两种模式下来回切换参数，提升软件易用性。
通常情况下，Hive以文本文件存储的表会以回车作为其行分隔符，即在查询过程中，以回车符作为一行表数据的结束符。但某些数据文件并不是以回车分隔的规则文本格式，而是以某些特殊符号分隔其规则文本。 MRS Hive支持指定不同的字符或字符组合作为Hive文本数据的行分隔符，即在创建表的时候，指定inpu
问题2：确认JDBCServer服务是否正常，查看对应的端口是否正常监测。 处理步骤 问题1：需要使用特定的URL和MRS Spark的自带的jar包来连接JDBCServer。 问题2：确认JDBCServer服务是否正常，查看对应的端口是否正常监测。 父主题： 使用Spark
Impalad（Coordinator）角色的jvm内存要大于或等于Catalog角色的jvm内存 Impala的元数据存放在内存中，Impalad需要从Catalog同步全量元数据，要保证Impala的jvm内存大于Catalog的jvm内存，才可以容纳下这些元数据。 建表时分
期可用。 MRS服务可以展示详细的补丁安装过程，支持补丁的卸载和失败回滚。 运维支撑 MRS集群的资源完全属于用户，通常情况下，当集群出现问题需要运维人员支撑时，运维人员无法直接访问该集群。为了更好的服务客户，MRS提供两种方式来减少定位问题时的信息传递： 日志共享：用户可以在M
节点标签管理 标签是集群/节点的标识，为集群/节点添加标签，可以方便用户识别和管理拥有的集群/节点资源。MRS服务通过与标签管理服务（TMS）关联，可以让拥有大量云资源的用户，通过给云资源打标签，快速查找具有同一标签属性的云资源，进行统一检视、修改、删除等管理操作，方便用户对大数据集群及其他相关云资源的统一管理。
在现有集群的标签页，执行标签的增、删、查操作。 登录MRS管理控制台。 在现有集群列表中，单击待管理标签的集群名称。 系统跳转至该集群详情页面。 选择“标签管理”页签，对集群的标签执行增、删、查。 查看 在“标签”页，可以查看当前集群的标签详情，包括标签个数，以及每个标签的键和值。 添加
ServiceName 产生告警的服务名称。 RoleName 产生告警的角色名称。 HostName 产生告警的主机名。 RESName 产生告警的资源名称。 对系统的影响 如果Manager的WebService浮动IP地址异常，用户无法登录和使用Manager。如果Manager的数据库异常，
Bitwise函数 bit_count(x, bits) → bigint 计算2的补码表示法中x中设置的位数（视为有符号位的整数）。 SELECT bit_count(9, 64); -- 2 SELECT bit_count(9, 8); -- 2 SELECT bit_count(-7
配置相同的名称。 脚本路径 obs://mrs-samples/xxx.sh 脚本的路径。路径可以是OBS文件系统的路径或虚拟机本地的路径。 OBS文件系统的路径，必须以obs://开头，以.sh结尾。例如：obs://mrs-samples/xxx.sh 虚拟机本地的路径，脚本所在的路径必须以‘/’开头，以
Transition恢复功能 在HMaster上设置chore服务，用于识别和恢复长期处于Transition的Region。 登录FusionInsight Manager界面，选择“集群 > 服务 > HBase > 配置”，下表是用于启用此功能的配置参数。 表1 参数描述 参数 描述 默认值 hbase
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
