检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
学习HDFS工程。 以下操作步骤以导入HDFS样例代码为例。操作流程如图1所示。 图1 导入样例工程流程 导入样例工程 参考获取MRS应用开发样例工程,获取样例代码解压目录中“src”目录下的样例工程文件夹“hdfs-example-normal”。 导入样例工程到IntelliJ
使用Python提交Flink普通作业 获取样例工程“flink-examples/pyflink-example/pyflink-kafka”中的“pyflink-kafka.py”和“insertData2kafka.sql”。 参考准备本地应用开发环境将准备好的Python虚拟环境打包,获取“venv.zip”文件。
source bigdata_env 如果集群采用安全版本,要执行以下命令进行安全认证: kinit hbase 按提示输入密码(向MRS集群管理员获取密码)。 执行hbase zkcli命令进入ZooKeeper客户端,然后执行命令listquota /hbase查看对应HBase服务的
上分区分布是否均衡。 图1 Broker上分区分布不均衡示例 是,执行13。 否,执行11。 单击最右侧分区不均衡的条柱,查看是否包含5中获取的当前告警上报的节点,如果包含则需要执行数据均衡。 等待5分钟,查看告警是否自动清除。 是,操作结束。 否,执行13。 收集故障信息。 在FusionInsight
上分区分布是否均衡。 图1 Broker上分区分布不均衡示例 是,执行13。 否,执行11。 单击最右侧分区不均衡的条柱,查看是否包含5中获取的当前告警上报的节点,如果包含则需要执行数据均衡。 等待5分钟,查看告警是否自动清除。 是,操作结束。 否,执行13。 收集故障信息。 在FusionInsight
上分区分布是否均衡。 图1 Broker上分区分布不均衡示例 是,执行13。 否,执行11。 单击最右侧分区不均衡的条柱,查看是否包含5中获取的当前告警上报的节点,如果包含则需要执行数据均衡。 等待5分钟,查看告警是否自动清除。 是,操作结束。 否,执行13。 收集故障信息。 在FusionInsight
source bigdata_env 如果集群采用安全版本,要执行以下命令进行安全认证: kinit hbase 按提示输入密码(向MRS集群管理员获取密码)。 执行hbase zkcli命令进入ZooKeeper客户端,然后执行命令listquota /hbase查看对应HBase服务的
source bigdata_env 如果集群采用安全版本,要执行以下命令进行安全认证: kinit hbase 按提示输入密码(向MRS集群管理员获取密码)。 执行hbase zkcli命令进入ZooKeeper客户端,然后执行命令listquota /hbase查看对应HBase服务的
/opt/test/conf/user.keytab 说明: user.keytab文件从下载用户flume_hdfs的kerberos证书文件中获取,另外,确保用于安装和运行Flume客户端的用户对user.keytab文件有读写权限。 hdfs.useLocalTimeStamp 是
/opt/test/conf/user.keytab 说明: user.keytab文件从下载用户flume_hdfs的kerberos证书文件中获取,另外,确保用于安装和运行Flume客户端的用户对user.keytab文件有读写权限。 hdfs.useLocalTimeStamp 是
检查主备Manager服务器间的网络是否正常。 在FusionInsight Manager页面,选择“运维 > 告警 > 告警”,单击此告警所在行的,获取该告警的备Manager(即Peer Manager)IP地址。 以root用户登录主Manager服务器,用户密码为安装前用户自定义,请咨询系统管理员。
e and modify launcher-job tenant failed.”打印。 回答 以omm用户登录主管理节点,执行如下命令,获取launcher-Job租户的tenantID。 curl -ki -L -u 用户名:密码 "https://$(hostname -i
05_1507.html 获取集群的配置文件 参考安装MRS集群客户端,下载并解压客户端。 获取下载的HDFS客户端配置文件(下载路径/HDFS/hadoop/etc/hadoop)中的“core-site.xml”、“hdfs-site.xml”。获取Yarn客户端配置文件(下
IDEA中导出的jar包复制到“lib”目录下,并解压。 若业务需要访问外部组件,其所依赖的配置文件请参考相关开发指引,获取到配置文件后将配置文件放在1中指定的目录下。 若业务需要访问外部组件,其所依赖的jar包请参考相关开发指引,获取到jar包后将jar包放在1中指定的目录下。 在IntelliJ IDEA样例工程
下面的配置并导入样例工程操作。 以在Windows环境下开发JDBC方式连接Impala服务的应用程序为例。 操作步骤 参考获取MRS应用开发样例工程,获取Impala示例工程。 在Impala示例工程根目录impala-examples-normal文件夹下,打开cmd窗口,执行mvn
SparkSQL的权限管理是指SparkSQL中管理用户操作数据库的权限系统,以保证不同用户之间操作数据库的独立性和安全性。如果一个用户想操作另一个用户的表、数据库等,需要获取相应的权限才能进行操作,否则会被拒绝。 SparkSQL权限管理部分集成了Hive权限管理的功能。使用SparkSQL权限管理功能需要使用
快速学习HDFS工程。 以下操作步骤以导入HDFS样例代码为例。操作流程如图1所示。 图1 导入样例工程流程 操作步骤 参考获取MRS应用开发样例工程,获取样例代码解压目录中“src”目录下的样例工程“hdfs-example-security”。 将准备MRS应用开发用户时得到的keytab文件“user
备连接MapReduce集群配置文件。 操作步骤 参考获取MRS应用开发样例工程,获取样例代码解压目录中“src”目录下的样例工程,可根据实际业务场景选择对应的样例,相关样例介绍请参见MapReduce样例工程介绍。 将已获取的认证文件和配置文件,放置在MapReduce样例工程的“
opts参数;如果未设置-Xmx,Xmx值从mapreduce.map.memory.mb*mapreduce.job.heap.memory-mb.ratio计算获取。 MRS 3.x之前版本:-Xmx2048M -Djava.net.preferIPv4Stack=true MRS 3.x及之后版本:
opts参数;如果未设置-Xmx,Xmx值从mapreduce.map.memory.mb*mapreduce.job.heap.memory-mb.ratio计算获取。 集群已开启Kerberos认证:-Djava.net.preferIPv4Stack=true -Djava.net.preferIPv6Addresses=false