检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
单击“添加文件”选择SSH私钥文件并上传。 自动部署到节点 是 是否自动部署到节点。客户端类型选择“完整客户端”时,支持配置该参数。 是,客户端会自动在当前节点上安装部署。 否,客户端不会自动安装部署。需要在客户端下载成功后手动进行安装。 客户端部署路径 /opt/testclient “自动部署到节点”选择“是”
除了这一步外还需要将$SPARK_HOME/jars/streamingClient010目录中的kafka-clients jar包复制到$SPARK_HOME/jars目录下,否则会报class not found异常。 父主题: Spark Structured Streaming状态操作样例程序
addColumn(final TableName tableName, final HColumnDescriptor column) 添加一个列簇到指定的表。 void deleteColumn(final TableName tableName, final HColumnDescriptor
除了这一步外还需要将$SPARK_HOME/jars/streamingClient010目录中的kafka-clients jar包复制到$SPARK_HOME/jars目录下,否则会报class not found异常。 父主题: Spark Structured Streaming状态操作样例程序
增加文件中第二行的数字(若移入多个Partition目录,则增加的数字为移入的Partition目录个数)。 添加待移入的Partition行到文件末尾(行结构为“Topic名称 Partition标识 Offset”,直接复制5中保存的行数据即可)。 移动数据,将待移动的Parti
addColumn(final TableName tableName, final HColumnDescriptor column) 添加一个列簇到指定的表。 void deleteColumn(final TableName tableName, final HColumnDescriptor
个具有对应作业提交权限的业务用户,请参考创建MRS集群用户。 例如: kinit testuser 执行以下命令复制OBS文件系统中的程序到集群的客户端所在节点。 hadoop fs -Dfs.obs.access.key=访问OBS的AK信息 -Dfs.obs.secret.key=访问OBS的SK信息
WebUI查看应用程序运行情况。 通过MapReduce日志获取应用程序运行情况。 前提条件 已将准备连接MapReduce集群配置文件获取的配置文件放置到“conf”目录下(例如“/opt/client/conf”,该目录需要与2上传的“MRTest-XXX.jar”包所在目录相同)。 已参考
“目的端路径”:填写保存备份数据的OBS目录。 “最大备份数”:填写备份目录中可保留的备份文件集数量。 MRS 3.1.0及之后版本才支持备份数据到OBS。 单击“确定”保存。 在备份任务列表中已创建任务的“操作”列,选择“更多 > 即时备份”,开始执行备份任务。 备份任务执行完成后,系
HDFS操作审计日志(例如:文件增删改查)。 SecurityAuth.audit HDFS安全审计日志。 日志级别 HDFS中提供了如表2所示的日志级别,日志级别优先级从高到低分别是FATAL、ERROR、WARN、INFO、DEBUG,程序会打印高于或等于所设置级别的日志,设置的日志等级越高,打印出来的日志就越少。
使用Presto客户端执行查询语句 用户可以根据业务需要,在MRS集群的客户端中进行交互式查询。启用Kerberos认证的集群,需要提交拓扑的用户属于“presto”组。 MRS 3.x版本Presto组件暂不支持开启Kerberos认证。 前提条件 获取用户“admin”账号密
“目的端路径”:填写保存备份数据的OBS目录。 “最大备份数”:填写备份目录中可保留的备份文件集数量。 MRS 3.1.0及之后版本才支持备份数据到OBS。 单击“确定”保存。 在备份任务列表中已创建任务的“操作”列,选择“更多 > 即时备份”,开始执行备份任务。 备份任务执行完成后,系
在DistributedFileSystem中添加了以下API,以获取具有块位置的FileStatus,并从FileStatus对象打开文件。这些API将减少从客户端到Namenode的RPC调用的数量。 表6 FileSystem API接口说明 Interface接口 Description说明 public
恢复过程中需要重启所有集群,集群重启时无法访问。 Manager数据恢复后,会丢失从备份时刻到恢复时刻之间的数据,例如系统设置、用户信息、告警信息或审计信息。可能导致无法查询到数据,或者某个用户无法访问集群。 Manager数据恢复后,系统将强制各集群的LdapServer从OLadp同步一次数据。 前提条件 如果
的配置文件“core-site.xml”、“hdfs-site.xml”、“hbase-site.xml”和用于安全认证的用户凭证文件放置到“src/main/resources”的目录下。 安全登录 请根据实际情况,修改“userName”为实际用户名,例如“developuser”。
HDFS操作审计日志(例如:文件增删改查)。 SecurityAuth.audit HDFS安全审计日志。 日志级别 HDFS中提供了如表2所示的日志级别,日志级别优先级从高到低分别是FATAL、ERROR、WARN、INFO、DEBUG,程序会打印高于或等于所设置级别的日志,设置的日志等级越高,打印出来的日志就越少。
ClientIP所在主机,用户密码为安装前用户自定义,请咨询系统管理员。 执行ping Flume Server IP地址命令,检查Flume Client到Flume Server的网络是否正常。 是,执行3。 否,执行11。 检查Flume Client端进程故障。 以root用户登录到告警定位参数中描述的Flume
例如下载的客户端文件为“FusionInsight_Cluster_1_Services_Client.tar”执行如下命令进入客户端所在目录,解压文件到本地目录。 cd /opt/hadoopclient tar -xvf FusionInsight_Cluster_1_Services_Client
2版本的补丁安装/卸载完成后不需要重启大数据组件。 重启组件的范围,是以补丁依次升级给定的范围,即如果是从MRS 3.1.5.0.1打补丁升级到MRS 3.1.5.0.2,需要重启MRS 3.1.0.0.2补丁的组件;如果是跨版本升级的,则需要重启的组件范围是各补丁的合集。 MRS 3
在DistributedFileSystem中添加了以下API,以获取具有块位置的FileStatus,并从FileStatus对象打开文件。这些API将减少从客户端到Namenode的RPC调用的数量。 表6 FileSystem API接口说明 Interface接口 Description说明 public