正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
需要50%的集群资源。 任务1将会使用队列A提供的25%的集群资源,并从队列B获取的50%的集群资源。队列B保留25%的集群资源。 启用抢占任务特性,则任务1使用的资源将会被抢占。队列B会从队列A中获取25%的集群资源以满足任务2的执行。 当任务2完成后,集群中存在足够的资源时,任务1将重新执行。
FusionInsight_Cluster_1_Services_ClientConfig_ConfigFiles.tar: OK 解压获取配置文件。 tar -xvf FusionInsight_Cluster_1_Services_ClientConfig_ConfigFiles
况修改HQL内容。 cursor = connection.cursor() cursor.execute('show tables') 获取结果并输出 for result in cursor.fetchall(): print(result) 父主题: 开发Hive应用
MapReduce针对多个场景提供样例工程,帮助客户快速学习MapReduce工程。 以下操作步骤以导入MapReduce样例代码为例。 操作步骤 参考获取MRS应用开发样例工程,下载样例工程到本地。 导入样例工程到Eclipse开发环境。 打开Eclipse,选择“File > Import
记录“基本信息”下的IP地址。 以omm用户通过20获取的IP地址登录HiveServer所在的主机。 执行ping命令,查看HiveServer所在主机与ZooKeeper、HDFS、Yarn和DBService服务所在主机的网络连接是否正常。(获取ZooKeeper、HDFS、Yarn和
2台32U64G机器部署HiveServer 20台16U32G机器部署DataNode和NodeManager 是否开启Kerberos认证 是或否 权限控制及说明 调研各个开启ACL权限控制的组件和配置,通常涉及Yarn、Hive、Impala、HBase等组件。 使用Ran
expect to start your database after your app). SparkSQL任务使用时,需要访问DBService以获取元数据信息,在客户端需要解密密文来访问,在使用过程中,用户没有按照流程操作,没有执行配置环境变量操作,且在其客户端环境变量中存在默认的JD
bigdata_env 如果当前集群已启用Kerberos认证,执行以下命令认证当前用户,当前用户需要具有创建HBase表的权限,具体请参见创建HBase权限角色配置拥有对应权限的角色,参考创建用户为用户绑定对应角色。如果当前集群未启用Kerberos认证,则无需执行此命令。 kinit MRS集群用户
3.1.5和MRS 3.3.0-LTS版本集群支持连接“云数据库GaussDB(for MySQL)”。 集群支持对接LakeFormation时,可选择“LakeFormation”数据连接。 不同集群间Hive元数据切换时,MRS当前只对Hive组件自身的元数据数据库中的权限进
况修改HQL内容。 cursor = connection.cursor() cursor.execute('show tables') 获取结果并输出 for result in cursor.fetchall(): print(result) 父主题: 开发Hive应用
error when connect apache zookeeper ", e); } } [1]userdir获取的是编译后资源目录的路径。将初始化需要的配置文件“core-site.xml”、“hdfs-site.xml”、“hbase-site.x
信范围用于访问MRS Manager页面,请参考添加安全组规则。如需对安全组规则进行查看,修改和删除操作,请单击“管理安全组规则”。 自动获取的访问公网IP与用户本机IP不一致,属于正常现象,无需处理。 9022端口为knox的端口,需要开启访问knox的9022端口权限,才能访问MRS
具体步骤可参见初始化数据盘对新磁盘进行初始化操作。 执行lsblk命令,查看新增磁盘分区信息。 图2 查看新增磁盘(分区) 使用df -TH获取文件系统类型。 图3 获取文件系统类型 使用对应的文件系统类型对新磁盘(分区)进行格式化。 例如:mkfs.ext4 /dev/sdd1 执行如下命令挂载新磁盘。
需要50%的集群资源。 任务1将会使用队列A提供的25%的集群资源,并从队列B获取的50%的集群资源。队列B保留25%的集群资源。 启用抢占任务特性,则任务1使用的资源将会被抢占。队列B会从队列A中获取25%的集群资源以满足任务2的执行。 当任务2完成后,集群中存在足够的资源时,任务1将重新开始执行。
系统环境异常。 处理步骤 查看进程打开文件情况。 打开FusionInsight Manager页面,在实时告警列表中,单击此告警所在行的,获取告警所在主机IP地址。 以root用户登录告警所在主机,用户密码为安装前用户自定义,请咨询系统管理员。 执行以下命令查看文件句柄占用较多的进程。
dc=hadoop,dc=com -w LDAP管理员密码 -e ppolicy | grep krbLoginFailedCount OMS浮动IP地址获取方式:远程登录Master2节点,执行“ifconfig”命令,系统回显中“eth0:wsom”表示OMS浮动IP地址,请记录“inet”
执行如下命令查询PMS进程号。 ps -ef | grep =pmsd |grep -v grep 执行如下命令关闭PMS进程,其中PID为2中获取的PMS进程号。 kill -9 PID 等待PMS进程自动启动。 PMS启动需要2~3分钟。PMS是监控进程,重启不影响大数据业务。 父主题:
REFRESH TABLE table_name; table_name为刷新的表名,该表必须存在,否则会出错。 执行查询语句时,即可获取到最新插入的数据。 父主题: SQL和DataFrame
若集群开启Kerberos认证,如需在集群外的节点上使用客户端,请在该客户端的flink配置文件flink-conf.yaml的配置项“jobmanager.web.allow-access-address”中添加该客户端所在节点的IP。若集群未开启Kerberos认证则无需修改该配置项。
进行应用开发时,需要同时准备代码的运行调测的环境,用于验证应用程序运行正常。 如果本地Windows开环境和集群业务平面网络互通,可下载集群客户端到本地,获取相关调测程序所需的集群配置文件及配置网络连通后,然后直接在Windows中进行程序调测。 登录FusionInsight Manager页面,选择“集群