检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
通过JDBC访问Spark SQL样例程序(Java) 功能简介 使用自定义客户端的JDBC接口提交数据分析任务,并返回结果。 样例代码 定义SQL语句。SQL语句必须为单条语句,注意其中不能包含“;”。示例: ArrayList<String> sqlList = new ArrayList<String>();
main(SparkSubmit.scala) 可能原因 Kafka服务异常。 客户端Consumer侧采用非安全访问,服务端配置禁止访问。 客户端Consumer侧采用非安全访问,Kafka Topic设置ACL。 原因分析 查看Kafka服务状态: MRS Manager界面操作:登录MRS Manager,依次选择“服务管理
通过JDBC访问Spark SQL样例程序开发思路 场景说明 用户自定义JDBCServer的客户端,使用JDBC连接来进行表的创建、数据加载、查询和删除。 数据规划 确保以多主实例模式启动了JDBCServer服务,并至少有一个实例可连接客户端。在JDBCServer节点上分别
通过JDBC访问Spark SQL样例程序(Java) 功能简介 使用自定义客户端的JDBC接口提交数据分析任务,并返回结果。 样例代码 定义SQL语句。SQL语句必须为单条语句,注意其中不能包含“;”。示例: ArrayList<String> sqlList = new ArrayList<String>();
如果您已经部署NFS服务器,并已配置NFS服务,本操作提供集群侧的配置指导,为可选任务。 操作步骤 在NFS服务器上检查NFS的共享目录权限,确认服务器可以访问MRS集群的NameNode。 以root用户登录NameNode主节点。 执行如下命令,创建目录并赋予目录写权限。 mkdir ${BI
客户端一直处于等待状态。 可能原因 Kafka服务异常。 客户端Consumer侧采用非安全访问,服务端配置禁止访问。 客户端Consumer侧采用非安全访问,Kafka Topic设置ACL。 原因分析 Consumer向Kafka消费数据失败,可能原因客户端Consumer侧问题或者Kafka侧问题。
访问Spark Web UI界面 Spark Web UI界面主要用于查看Spark应用程序运行情况,推荐使用Google chrome浏览器以获得更好的体验。 Spark主要有两个Web页面。 Spark UI页面,用于展示正在执行的应用的运行情况。 页面主要包括了Jobs、S
过JDBC访问Spark SQL样例程序(Scala) 功能简介 使用自定义客户端的JDBC接口提交数据分析任务,并返回结果。 样例代码 定义SQL语句。SQL语句必须为单条语句,注意其中不能包含“;”。示例: val sqlList = new ArrayBuffer[String]
选择“true”,表示开启压缩。 选择“false”,表示关闭压缩。 true 设置数据转换 单击“下一步”,进入“转换”界面,设置数据传输过程中的转换操作。算子的选择和参数设置具体请参考算子帮助及表3。 表3 算子输入、输出参数设置 输入类型 输出类型 CSV文件输入 Hive输出 HTML输入
Web页面访问类 如何修改开源组件Web页面会话超时时间? MRS租户管理中的动态资源计划页面无法刷新怎么办? Kafka Topic监控页签在Manager页面不显示如何处理? 访问HDFS、Hue、Yarn、Flink、HetuEngine等组件的WebUI界面报错或部分页面不可用如何处理?
通过JDBC访问Spark SQL样例程序(Java) 功能简介 使用自定义客户端的JDBC接口提交数据分析任务,并返回结果。 样例代码 定义SQL语句。SQL语句必须为单条语句,注意其中不能包含“;”。示例: ArrayList<String> sqlList = new ArrayList<String>();
Web页面访问类 无法访问MRS集群Manager页面如何处理? 登录集群Manager常见异常问题 访问MRS组件Web UI界面常见异常问题
通过JDBC访问Spark SQL样例程序开发思路 场景说明 用户自定义JDBCServer的客户端,使用JDBC连接来进行表的创建、数据加载、查询和删除。 数据规划 将数据文件上传至HDFS中。 确保以多主实例模式启动了JDBCServer服务,并至少有一个实例可连接客户端。在
MRS导入数据至HDFS 04:30 MRS导入数据至HDFS MapReduce服务 MRS 配置存算分离并使用Hive访问OBS 05:47 配置存算分离并使用Hive访问OBS MapReduce服务 MRS 登录MRS集群节点 04:08 登录MRS集群节点 MapReduce服务
使用FineBI访问MRS HetuEngine 应用场景 FineBI是一款商业智能产品,针对企业信息化遇到的困难,为企业提供专业的商业智能解决方案。 本章节以FineBI 5.1.9版本为例,讲解如何使用FineBI访问安全模式MRS集群的HetuEngine。 方案架构 出
角色:单击“添加”,选择“System_administrator”。 单击“确定”完成用户创建。 以新创建的用户(例如hueuser)重新访问Hue WebUI页面。 首次登录需要修改密码。 父主题: 访问MRS组件Web UI界面常见异常问题
3.x及之后版本) 服务IP 192.168.xxx.xxx 设置对接服务器IP地址。 服务端口 514 设置对接端口。 协议 UDP 设置协议类型,包括: TCP UDP 安全级别 Informational 设置上报消息的严重程度,取值范围: Emergency Alert Critical
访问集群Manager 访问MRS Manager(MRS 3.x之前版本) 访问FusionInsight Manager(MRS 3.x及之后版本) 父主题: 常见操作
提供集群、服务、角色实例的操作功能,满足您一键启停等操作需求。 MRS Manager简介 EIP方式访问集群 通过EIP访问快速便捷的访问Manager,及开源组件Web站点。 通过弹性公网IP访问集群Web站点 消息通知 配置消息通知后,可以实时给用户发送MRS集群健康状态,用户可以通过
通过JDBC访问Spark SQL样例程序(Scala) 功能简介 使用自定义客户端的JDBC接口提交数据分析任务,并返回结果。 样例代码 定义SQL语句。SQL语句必须为单条语句,注意其中不能包含“;”。示例: val sqlList = new ArrayBuffer[String]