检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
务中，使用MRS集群仅作数据计算处理的存算分离模式，从而实现按需灵活扩展资源、低成本的海量数据分析方案。 约束与限制 大数据存算分离场景，请务必使用OBS并行文件系统，使用普通对象桶会对集群性能产生较大影响。 操作流程 本章节指导用户创建Hive表存放数据到OBS，基本流程如下所示：
代码中使用的用户为：super，需要修改为准备好的开发用户。 打包项目 通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录（例如“$SPARK_HOME”
p”字样，则表示正在切换NTP服务模式，等待十分钟再次执行1，如果回显中“ResName”列依旧同时出现“chrony”和“ntp”字样，请联系运维人员。 检查该节点的chrony服务是否正常启动。 打开FusionInsight Manager页面，选择“运维 > 告警 > 告
keeper服务运行正常，迁入、迁出节点的ClickHouseServer实例状态正常。 请确保迁入节点已有待迁移数据表，且确保该表是MergeTree系列引擎的分区表。 创建迁移任务前请确保所有对待迁移数据表的写入任务已停止，且任务启动后，只允许对待迁移数据表进行查询操作，禁止
在HIVE区域单击已添加的服务名称“Hive”。 单击“Add New Policy”，新增访问控制策略。 参考表1配置参数，未在表中列出的参数请保持默认值。 表1 参数说明 参数 说明 示例值 Policy Name 策略名称。 testuser database 该策略允许访问的数据库名称。
确保客户端classpath下有“hive-site.xml”文件，且根据实际集群情况配置所需要的参数。JDBCServer相关参数详情，请参见Spark JDBCServer接口介绍。 开发思路 在default数据库下创建child表。 把“/home/data”的数据加载进child表中。
操作步骤 启用Kerberos认证的集群，登录MRS Manager页面，创建拥有“Hive Admin Privilege”权限的角色，创建角色请参考创建角色。 创建属于“Presto”和“Hive”组的用户，同时为该用户绑定1中创建的角色，然后下载用户认证文件，参见创建用户，下载用户认证文件。
IP值是否合法有效。 以root用户登录到任一管理节点，执行ping命令检查SFTP服务器和集群之间的网络连接是否正常，用户密码为安装前用户自定义，请咨询系统管理员。管理节点的主备状态及对应IP地址可在FusionInsight Manager主机管理界面查看。 是，执行5。 否，执行3。
可以执行如下命令，收集系统所有进程信息，查看占用大量端口的进程。 ps -ef > $BIGDATA_HOME/tmp/ps_result.txt 请MRS集群管理员确认后，清除大量占用端口的进程，等待5分钟，检查该告警是否恢复。 是，处理完毕。 否，执行10。 收集故障信息。 在主集群的FusionInsight
可能原因 HDFS DataNode配置的非堆内存不足。 处理步骤 清除无用文件。 以root用户登录HDFS客户端，用户密码为安装前用户自定义，请咨询系统管理员。执行cd命令进入客户端安装目录，然后执行source bigdata_env。 如果集群采用安全版本，要进行安全认证。 执行kinit
WARN表示当前事件处理存在异常信息。 INFO INFO表示系统及各事件正常运行状态信息。 DEBUG DEBUG表示系统及系统调试信息。 如果您需要修改日志级别，请执行如下操作： 请参考修改集群服务配置参数，进入Loader的“全部配置”页面。 左边菜单栏中选择所需修改的角色所对应的日志菜单。 选择所需修改的日志级别。
改名为Spark，服务包含的角色名也有差异，例如JobHistory2x变更为JobHistory。相关涉及服务名称、角色名称的描述和操作请以实际版本为准。 告警属性 告警ID 告警级别 是否自动清除 43007 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。
登录FusionInsight Manager页面，选择“集群 > 服务”，查看LdapServer服务“运行状态”是否为“良好”。 是，执行8。 否，执行7。 请根据告警资料“ALM-25000 LdapServer服务不可用”处理“LdapServer服务不可用”告警。 等待LdapServer服务
database='database_name' and table='table_name' 对比6和7的查询结果是否一致， 是，执行10。 否，请确保分布式表和对应的本地表的列信息一致，再尝试写入分布式表。 等待几分钟查看告警是否消失， 是，操作结束。 否，执行10。 收集故障信息 在FusionInsight
使用方法和支持的参数一致，这里主要介绍get_slowlog_responses的使用方法。 已登录HBase Shell命令行，详细操作请参见HBase客户端使用实践。 查看所有RegionServer的慢请求： get_slowlog_responses '*', {'LIMIT'
的值大10%。 是，执行8。 否，执行11。 数据倾斜，需要均衡集群中的数据。以root用户登录MRS客户端，用户密码为安装前用户自定义，请咨询系统管理员。如果集群为普通模式，执行su - omm切换到omm用户。执行cd命令进入客户端安装目录，然后执行source bigdat
获取2中查看到的NodeManager目录，以root用户登录每个NodeManager节点，并进入获取到的目录，用户密码为安装前用户自定义，请咨询系统管理员。 执行ll命令查看对应localdir的文件夹和containerlogs文件夹权限，确认权限是否是“755”，且“用户:属
WARN表示当前事件处理存在异常信息。 INFO INFO表示系统及各事件正常运行状态信息。 DEBUG DEBUG表示系统及系统调试信息。 如果您需要修改日志级别，请执行如下操作： 请参考修改集群服务配置参数，进入Loader的“全部配置”页面。 左边菜单栏中选择所需修改的角色所对应的日志菜单。 选择所需修改的日志级别。
开发环境的基本配置，建议使用2019.1或其他兼容版本。 说明： 若使用Oracle JDK，请确保IntelliJ IDEA中的JDK配置为Oracle JDK。 若使用Open JDK，请确保IntelliJ IDEA中的JDK配置为Open JDK。 不同的IntelliJ I
keeper服务运行正常，迁入、迁出节点的ClickHouseServer实例状态正常。 请确保迁入节点已有待迁移数据表，且确保该表是MergeTree系列引擎的分区表。 创建迁移任务前请确保所有对待迁移数据表的写入任务已停止，且任务启动后，只允许对待迁移数据表进行查询操作，禁止
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
