检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ar为日期类型的字段，当过滤条件为“where trx_dte_par='2016-6-30'”时没有查询结果，当过滤条件为“where trx_dte_par='2016-06-30'”时有查询结果。 图1 示例 回答 在Spark SQL查询语句中，当查询条件中含有日期格式的字符串时，Spark
如何使用PySpark连接MRS Spark？ 问： 如何在ECS服务器上用PySpark连接内网开启Kerberos认证的MRS Spark集群？ 答： 将Spark的“spark-defaults.conf”文件中“spark.yarn.security.credentials
tion)方法创建Connection对象。传递的参数为上一步创建的Configuration。 Connection封装了底层与各实际服务器的连接以及与ZooKeeper的连接。Connection通过ConnectionFactory类实例化。创建Connection是重量级
提交作业时系统提示当前用户在Manager不存在如何处理？ 问： 安全集群在提交作业时，未进行IAM用户同步，会出现“当前用户在MRS Manager不存在，请先在IAM给予该用户足够的权限，再在概览页签进行IAM用户同步”的错误提示。 答： 在提交作业之前，用户需要先在集群详情
在出现告警时间点发现虚拟机发生了重启，告警发生的原因是因虚拟机重启导致的。 经OS定位虚拟机发生重启的原因是节点没有可用的内存，系统发生内存溢出触发了oom-killer，当进程处于被调用的状态会使进程处于disk sleep状态，最终导致虚拟机发生重启。 查看占用的内存进程，发现占用内存都是正常的业务进程。
@{dateformat("yyyy-MM-dd")}@ 2016-05-17 当前日期。 @{dateformat("yyyy-MM-dd HH:mm:ss")}@ 2016-05-17 16:50:00 当前日期和时间。 @{timestamp()}@ 1463476137557 从1970年到现在的毫秒数。
设置一个脏数据目录，在出现脏数据的场景中在该目录保存脏数据。如果不设置则不保存。 单击“保存”。 查看作业 访问Loader页面，默认显示Loader作业管理页面。 如果集群启用了Kerberos认证，则默认显示所有当前用户创建的作业，不支持显示其他用户的作业。 如果集群未启用Kerberos认证，则显示集群中全部的作业。
HDFS系统管理员，用户权限： 文件系统操作权限： 查看、修改、创建文件 查看、创建目录 查看、修改文件属组 查看、设置用户磁盘配额 HDFS管理操作权限： 查看webUI页面状态 查看、设置HDFS主备状态 进入、退出HDFS安全模式 检查HDFS文件系统 登录FTP服务 请参见修改MRS集群组件运行用户密码。
创建一个新的python3任务，使用Spark读取文件。 图4 创建Python任务 登录到集群Manager界面，在Yarn的WebUI页面上查看提交的pyspark应用。 图5 查看任务运行情况 验证pandas库调用。 图6 验证pandas 对接Jupyter常见问题 pandas本地import使用时，报错如下：
tion)方法创建Connection对象。传递的参数为上一步创建的Configuration。 Connection封装了底层与各实际服务器的连接以及与ZooKeeper的连接。Connection通过ConnectionFactory类实例化。创建Connection是重量级
tion)方法创建Connection对象。传递的参数为上一步创建的Configuration。 Connection封装了底层与各实际服务器的连接以及与ZooKeeper的连接。Connection通过ConnectionFactory类实例化。创建Connection是重量级
如何通过集群外的节点访问MRS集群？ 创建集群外Linux操作系统ECS节点访问MRS集群 创建一个集群外ECS节点，具体请参考购买弹性云服务器。 ECS节点的“可用区”、“虚拟私有云”、“安全组”，需要和待访问集群的配置相同。 在VPC管理控制台，申请一个弹性IP地址，并与ECS绑定。 具体请参见申请弹性公网IP。
@{dateformat("yyyy-MM-dd")}@ 2016-05-17 当前日期。 @{dateformat("yyyy-MM-dd HH:mm:ss")}@ 2016-05-17 16:50:00 当前日期和时间。 @{timestamp()}@ 1463476137557 从1970年到现在的毫秒数。
由于MRS集群节点的NTP时间不同步导致集群访问OBS时鉴权失败 问题现象 集群访问OBS上报403异常。 原因分析 集群Master节点NTP时间与集群外节点的NTP服务器时间不同步，时间相差超过15min，导致集群访问OBS时鉴权失败，上报403异常。 处理步骤 以root用户登录集群主Master节点。
创建MRS集群时计价器为什么未显示价格？ MRS集群中的弹性伸缩功能如何收费？ MRS集群的Task节点如何收费？ 退订MRS集群后在ECS中退订弹性云服务器时报异常如何处理？
服务端配置过期后更新MRS集群客户端 MRS集群提供了客户端，可以在连接服务端、查看任务结果或管理数据的场景中使用。用户如果在Manager修改了服务配置参数并重启了服务，已安装的客户端需要重新下载并安装，或者使用配置文件更新客户端。 针对MRS 2.x及之前版本集群，用户创建集
Zookeeper的服务性能。可通过如下方法确认单个备份或恢复任务的znode数量： 单个备份或恢复任务的znode数量要少于操作系统的文件句柄限制。查看句柄限制的方式如下： 使用shell命令输入：cat /proc/sys/fs/file-max，用于查看系统级的最大限制。 使用shell命令输入：ulimit
ServerIP 服务端IP。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 大量进程连接到ZooKeeper，导致ZooKeeper连接数被占满，无法对外正常提供服务，导致上游组件（例如Yarn、Flink、Spark等）服务异常。 可能原因
资源规格，一键式购买适合企业业务的MRS集群。MRS服务会根据用户选择的集群类型、版本和节点规格，帮助客户自动完成华为云企业级大数据平台的安装部署和参数调优。 MRS服务为客户提供完全可控的大数据集群，客户在创建时可设置虚拟机的登录方式（密码或者密钥对），所创建的MRS集群资源完
Authentication）方式访问FusionInsight Manager REST API的用户使用。 REST API REST API是访问Web服务器的一套API，REST API接口的执行方式是通过HTTP请求进行的，接收GET、PUT、POST、DELETE等请求并使用JSON数据进行响应。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
