检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
igdata/audit”目录下查看各组件的审计日志。 Admin Ranger上操作审计信息，例如安全访问策略的创建/更新/删除、组件权限策略的创建/删除、role的创建/更新/删除等。 Login Sessions 登录Ranger的用户会话审计信息。 Plugins Ranger内组件权限策略信息。
如何查看System.out.println打印的调试信息或将调试信息输出至指定文件 问题 Flink业务代码中添加了System.out.println调试信息打印，该如何查看此调试日志？避免与运行日志混在一起打印，如何将业务日志单独输出至指定文件？ 回答 Flink所有的运行
通过JDBC访问Spark SQL的程序 场景说明 Java样例代码 Scala样例代码 Python样例代码 父主题： 开发Spark应用
保存配置并重启JDBCServer2x实例。 使用安装客户端用户登录客户端安装节点。 配置环境变量。 source 客户端安装目录/bigdata_env 如果是安全集群，使用以下命令用户进行用户认证，如果当前集群未启用Kerberos认证，则无需执行此命令。 kinit 用户名 在spark-b
需保证KafkaUI登录用户属于“kafkaadmin”用户组或者单独给用户授予对应操作权限，否则将会鉴权失败。 非安全模式下，KafkaUI对所有操作不作鉴权处理。 查看生产消费详情 进入KafkaUI界面。 使用具有KafkaUI页面访问权限的用户登录FusionInsight
确认集群主备管理节点。 远程登录Master1节点，请参见登录MRS集群节点。 Master节点支持Cloud-Init特性，Cloud-init预配置的用户名“root”，密码为创建集群时设置的密码。 执行以下命令切换用户。 sudo su - root su - omm 执行以下命令确认主备管理节点：
务。 已创建用户需要配置权限的用户、用户组或Role。 创建的用户已加入hive用户组。 操作步骤 使用Ranger管理员用户rangeradmin登录Ranger管理页面，具体操作可参考登录Ranger WebUI界面。 在首页中单击“HADOOP SQL”区域的组件插件名称如“Hive”。
导致DNS查找失败无法显示此网页。 解决措施： 建议用户使用FusionInsight代理去访问Spark JobHistory页面，即单击如图2中蓝框所示的Spark WebUI的链接。 图2 FusionInsight Manager的Spark2x页面 如果用户需要不通过FusionInsight
场景说明 用户自定义JDBCServer的客户端，使用JDBC连接来进行数据表的创建、数据加载、查询和删除。 数据规划 确保以HA模式启动了JDBCServer服务，并至少有一个实例对外服务。在hdfs上创建"/home/data"目录，新增包含如下内容的文件并上传到hdfs的"/home/data"目录下。
访问Spark应用获取的restful接口信息有误 问题 当Spark应用结束后，访问该应用的restful接口获取job信息，发现job信息中“numActiveTasks”的值是负数，如图1所示。 图1 job信息 numActiveTasks是指当前正在运行task的个数。
添加CDL的Ranger访问权限策略 操作场景 Ranger管理员可通过Ranger为CDL用户配置创建、执行、查询、删除权限。 前提条件 已安装Ranger服务且服务运行正常。 已创建需要配置权限的用户、用户组或Role。 操作步骤 使用Ranger管理员用户rangeradm
Manager，选择“系统 > 权限 > 用户组 > 添加用户组”。 创建一个空角色的用户组，例如，名称为“obs_flink”，并将该用户组绑定给对应用户。 使用rangeradmin用户登录Ranger管理页面。 在首页中单击“EXTERNAL AUTHORIZATION”区域的组件插件名称“OBS”。
Tables”，进入“Metastore Manager”。 查看Hive表的元数据 在左侧导航栏中，将鼠标放在某一表上，单击显示在其右侧的图标，界面将显示Hive表的元数据信息。 管理Hive表的元数据 在Hive表的元数据信息界面，单击右上角的可导入数据，单击可浏览数据，单击可查看表文件的位置信息。 Hue界面主
获取JDBC连接，执行HQL，输出查询的列名和结果到控制台，关闭JDBC连接。 连接字符串中的“zk.quorum”也可以使用配置文件中的配置项“spark.deploy.zookeeper.url”来代替。 在网络拥塞的情况下，您还可以设置客户端与JDBCServer连接的超时时间，可以避免客
查看MRS集群补丁信息 查看集群组件的补丁信息。如果集群组件，如Hadoop或Spark等出现了异常，可下载补丁版本，修复问题。 登录MRS管理控制台。 选择“现有集群”，选中一集群并单击集群名，进入集群基本信息页面。 进入“补丁管理”页面，可查看当前MRS集群补丁信息。 补丁版本信息如下：
Spark同时访问两个HBase样例程序开发思路 场景说明 spark支持同时访问两个集群中的HBase，前提是两个集群配置了互信。 数据规划 将cluster2集群的所有Zookeeper节点和HBase节点的IP和主机名配置到cluster1集群的客户端节点的“/etc/hosts”文件中。
keytab文件。 确保用户的user.principal与指定的keytab文件对应。 可通过klist -kt keytabpath/user.keytab查看。 如果集群有做过切换域名操作，需要保证url中使用的principal字段是新域名。 如默认为hive/hadoop.hadoop
如果存在运行中的HetuEngine计算实例需重启该实例。 以具备访问HetuEngine WebUI界面的用户登录FusionInsight Manager，选择“集群 > 服务 > HetuEngine”，在概览页签下的“基本信息”区域单击“HSConsole WebUI”后的链接，
需要添加组件操作用户到Ranger策略中的URL策略，URL填写对象在OBS上的完整路径，权限选择Read, Write 权限，其他权限不涉及URL策略。详细操作MRS 3.x之前版本请参考在Ranger中配置Hive的访问权限，MRS 3.x及之后版本请参考添加Hive的Ranger访问权限策略。
JDBC驱动，获取JDBC连接，执行HQL，输出查询的列名和结果到控制台，关闭JDBC连接。 连接字符串中的“zk.quorum”也可以使用配置文件中的配置项“spark.deploy.zookeeper.url”来代替。 在网络拥塞的情况下，您还可以设置客户端与JDBCServer连接的超时时间，可以避免客
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
