检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
例如,Hive客户端安装目录为“/opt/hiveclient”,执行source /opt/hiveclient/bigdata_env 执行以下命令认证用户。 kinit Hive业务用户 执行以下命令登录客户端工具。 beeline 执行以下命令更新Hive用户的管理员权限。 set role
/opt/client/bigdata_env source /opt/client/Spark2x/component_env 执行以下命令认证用户。 kinit Hive业务用户 执行以下命令登录客户端工具。 /opt/client/Spark2x/spark/bin/beeline
在告警列表中单击该告警,从完整的告警信息中的“定位信息”处获得“主机名”。 以omm用户进入主集群HBase客户端所在节点。 如果集群采用了安全版本,要进行安全认证,然后使用hbase用户进入hbase shell界面。 cd /opt/client source ./bigdata_env kinit
cala/R示例程序。 本工程应用程序实现从HDFS上读取文本数据并计算分析。 SparkRExample示例不支持未开启Kerberos认证的集群。 sparksecurity-examples/SparkPythonExample sparksecurity-examples/SparkRExample
Manager页面“服务管理 > Ranger > 实例”中查看主RangerAdmin节点IP。 输入的证书密码为用户自定义密码。命令中如果携带认证密码信息可能存在安全风险,在执行命令前建议关闭系统的history命令记录功能,避免信息泄露。 登录MRS管理控制台。 选择“现有集群”,单击集群名称进入集群详情页面。
配置NameNode内存参数 配置场景 在HDFS中,每个文件对象都需要在NameNode中注册相应的信息,并占用一定的存储空间。随着文件数的增加,当原有的内存空间无法存储相应的信息时,需要修改内存大小的设置。 配置描述 参数入口: 请参考修改集群服务配置参数,进入HDFS“全部配置”页面。
ARN队列的名称,需和集群中已存在且状态正常的队列名称相同。 “OBS”:表示将备份文件保存在OBS中(仅MRS 3.5.0及之后版本支持)。 选择此参数值,还需要配置以下参数: “源端路径”:填写备份文件在OBS中保存的完整路径。例如,“备份路径/备份任务名_数据源_任务创建时间/版本号_数据源_任务执行时间
如需使用管理员用户admin登录,密码为创建集群时用户自行设置的密码。 如果使用管理员创建好的用户名密码登录,首次登录后需要重新设置密码。 如果登录报错“认证信息无效”,可能是用户密码输入错误或者密码过期,请检查并输入正确密码,或参考如何重置或修改Manager(admin)密码?章节修改密码。
的序列化编号。 图1 Kafka结构 约束与限制 创建并购买一个包含Kafka组件的MRS 3.1.0版本集群,集群未开启Kerberos认证,详情可参考创建MRS集群。 安装MRS集群客户端,具体请参考安装客户端。 步骤一:配置Kafka Eagle对接MRS参数 下载Kafka
确保用户已授权访问作业执行时操作的HDFS/OBS目录、HBase表和数据。 获取外部数据源(SFTP服务器或关系型数据库)使用的用户和密码。 检查磁盘空间,确保没有出现告警且余量满足导入、导出数据的大小。 使用Loader从SFTP、FTP和HDFS/OBS导入数据时,确保外部数据源的输入
createTable(String name, Schema schema, CreateTableOptions builder)方法创建表对象,其中需要指定表的schema和分区信息。 代码样例 如下是创建表的代码片段: // Set up a table name. String
createTable(String name, Schema schema, CreateTableOptions builder)方法创建表对象,其中需要指定表的schema和分区信息。 代码样例 如下是创建表的代码片段: // Set up a table name. String
kHiveExample样例工程。 将准备MRS应用开发用户时得到的keytab文件“user.keytab”和“krb5.conf”用户认证凭据文件复制到OozieSparkHBaseExample和OozieSparkHiveExample样例工程的“\src\main\resources”路径。
批次写入HDFS的Event个数。 hdfs.kerberosPrincipal - 认证HDFS的Kerberos principal,普通模式集群不配置,安全模式集群必须配置。 hdfs.kerberosKeytab - 认证HDFS的Kerberos keytab,普通模式集群不配置,安全模式集群中,用户必须对jaas
source bigdata_env kinit 归属于supergroup用户组或具备Global的Admin权限的用户(集群未启用Kerberos认证(普通模式)请跳过该操作) 执行以下命令打开HBase负载均衡功能,并确认是否成功打开。 hbase shell balance_switch
source bigdata_env kinit 归属于supergroup用户组或具备Global的Admin权限的用户(集群未启用Kerberos认证(普通模式)请跳过该操作) 执行以下命令打开负载均衡功能,并查看是否成功打开。 hbase shell balance_switch true
检查“/user/oozie/share”路径是否存在,用户密码为安装前用户自定义,请咨询系统管理员。 如果集群采用安全版本,要进行安全认证。 kinit admin hdfs dfs -ls /user/oozie/share 是,执行18。 否,执行10。 在Oozie客户
损坏,也有可能是集群上的LdapServer数据损坏,此时数据损坏的LdapServer进程将无法对外提供服务,影响Manager和集群的认证功能。 可能原因 LdapServer进程所在的节点网络故障。 LdapServer进程异常。 OS重启导致的LdapServer数据损坏。
Ranger策略的权限,即如果已经对表的HDFS存储源设置了HDFS Ranger权限,则级联权限将不会生效。 CDL业务用户权限配置 集群已启用Kerberos认证(安全模式)若需在对接OBS成功后,使用CDL实现实时数据入湖选择存储到OBS时,则需参考以下操作为对应用户赋予相应OBS路径的“Read”和“Write”权限。
建任务自动或手动备份数据。 前提条件 目前IoTDB仅支持备份业务数据到远端HDFS中,且需满足以下条件: 准备一个用于备份数据的备集群,认证模式需要与主集群相同。 若IoTDB所在集群为普通模式,则不支持备份业务数据到安全模式集群的HDFS中。 如果主集群部署为安全模式,且主备