检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
界面登录:直接通过弹性云服务器管理控制台提供的远程登录功能,登录到集群节点的Linux命令行操作界面。 SSH登录:仅适用于Linux弹性云服务器,您可以使用远程登录工具(例如PuTTY)登录弹性云服务器,此时需要该弹性云服务器绑定弹性IP地址。 集群节点申请和绑定弹性IP,请参见申请EIP并绑定至ECS。
支持从SFTP/FTP服务器导入数据到HDFS/OBS 支持从SFTP/FTP服务器导入数据到HBase表 支持从SFTP/FTP服务器导入数据到Phoenix表 支持从SFTP/FTP服务器导入数据到Hive表 支持从HDFS/OBS导出数据到SFTP服务器 支持从HBase表导出数据到SFTP服务器
提供集群、服务、角色实例的操作功能,满足您一键启停等操作需求。 MRS Manager简介 EIP方式访问集群 通过EIP访问快速便捷的访问Manager,及开源组件Web站点。 通过弹性公网IP访问集群Web站点 消息通知 配置消息通知后,可以实时给用户发送MRS集群健康状态,用户可
告警解释 根据本地历史数据备份策略,集群的审计日志需要转储到第三方服务器上。如果转储服务器满足配置条件,审计日志可以成功转储。审计日志转储失败,系统产生此告警。如果第三方服务器的转储目录磁盘空间不足,或者用户修改了转储服务器的用户名、密码或转储目录,将会导致审计日志转储失败。 告警属性
“访问方式”选择“专线访问”,记录集群浮动IP。查看“默认生效子网”后的子网,并记录。 登录VPC管理控制台,选择“虚拟私有云 > 子网”,搜索MRS集群的子网。 单击子网名称,进入子网详情页面,单击“IP地址管理”,搜索MRS集群浮动IP。 MRS集群浮动IP“操作”列的“绑定服务器”,选择MRS集群的Master节点,绑定成功后如下图:
ldap_servers.ldap_server_name.host OpenLDAP服务器主机名或IP,不能为空。 localhost ldap_servers.ldap_server_name.port OpenLDAP服务器端口。 如果enable_tls参数设置为true,则默认端口号为636,否则为389。
ldap_servers.ldap_server_name.host OpenLDAP服务器主机名或IP,不能为空。 localhost ldap_servers.ldap_server_name.port OpenLDAP服务器端口。 如果enable_tls参数设置为true,则默认端口号为636,否则为389。
分别执行以下命令,手动创建新的WS浮动IP路由信息。 ip route add WS浮动IP网段号/WS浮动IP子网掩码 scope link src WS浮动IP dev WS浮动IP对应网卡 table om_rt ip route add default via WS浮动IP网关 dev WS浮动IP对应网卡
Manager”,在弹出的窗口中配置弹性IP信息。 若创建MRS集群时暂未绑定弹性公网IP,在“弹性公网IP”下拉框中选择可用的弹性公网IP。若用户创建集群时已经绑定弹性公网IP,直接执行3.b。 如果没有弹性公网IP,可先单击“管理弹性公网IP”购买弹性公网IP后,然后在弹性公网IP下拉框中选择购买的弹性公网IP。
1-编译并运行程序。 在二次开发过程中,PRINCIPAL需要用到的用户名,应该填写为带域名的用户名,例如创建的用户为test,域名为HADOOP.COM,则其PRINCIPAL用户名则为test@HADOOP.COM,代码举例: conf.set(PRINCIPAL, "test@HADOOP.COM");
API接口的执行方式是通过HTTP请求进行。 HTTP请求的格式为:http://<JobManager_IP>:<JobManager_Port><Path>, 其中JobManager_IP是指JobManager进程所在服务器节点的IP地址,JobManager_Port是指JobManager进程的监测端
API接口的执行方式是通过HTTP请求进行。 HTTP请求的格式为:http://<JobManager_IP>:<JobManager_Port><Path>, 其中JobManager_IP是指JobManager进程所在服务器节点的IP地址,JobManager_Port是指JobManager进程的监测端
Flink读写Kafka样例 23:07 Flink读写Kafka样例 MapReduce服务 MRS Flink实现pipeline样例 19:22 Flink实现pipeline样例 MapReduce服务 MRS Flink TableAPI使用样例 21:00 Flink TableAPI使用样例
创建集群外Linux操作系统ECS节点访问MRS集群 创建一个集群外ECS节点,具体请参考购买弹性云服务器。 ECS节点的“可用区”、“虚拟私有云”、“安全组”,需要和待访问集群的配置相同。 在VPC管理控制台,申请一个弹性IP地址,并与ECS绑定。 具体请参见申请弹性公网IP。 配置集群安全组规则。
API接口的执行方式是通过HTTP请求进行。 HTTP请求的格式为:http://<JobManager_IP>:<JobManager_Port><Path>, 其中JobManager_IP是指JobManager进程所在服务器节点的IP地址,JobManager_Port是指JobManager进程的监测端
第三方jar包跨平台(x86、TaiShan)支持 问题 用户自己写的jar包(例如自定义udf包)区分x86和TaiShan版本,如何让Spark2x支持其正常运行。 回答 第三方jar包(例如自定义udf)区分x86和TaiShan版本时,混合使用方案: 进入到服务端Spark2x
第三方jar包跨平台(x86、TaiShan)支持 问题 用户自己写的jar包(比如自定义udf包)区分x86和TaiShan版本,如何让spark2x支持其正常运行。 回答 第三方jar包(例如自定义udf)区分x86和TaiShan版本时,混合使用方案: 进入到服务端spark2x
API接口的执行方式是通过HTTP请求进行。 HTTP请求的格式为:http://<JobManager_IP>:<JobManager_Port><Path>, 其中JobManager_IP是指JobManager进程所在服务器节点的IP地址,JobManager_Port是指JobManager进程的监测端
两个文件上传客户端所在服务器上。 通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 编译打包前,样例代码中的user.keytab、krb5.conf文件路径需要修改为该文件所在客户端服务器的实际路径。 运行Py
第三方jar包跨平台(x86、TaiShan)支持 问题 用户自己写的jar包(比如自定义udf包)区分x86和TaiShan版本,如何让spark2x支持其正常运行。 回答 第三方jar包(例如自定义udf)区分x86和TaiShan版本时,混合使用方案: 进入到服务端spark2x