检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置HDFS存储策略 功能简介 为HDFS上某个文件或文件夹指定存储策略。 代码样例 登录FusionInsight Manager页面,选择“集群 > 待操作集群的名称 > 服务 > HDFS > 配置 > 全部配置”。 搜索并查看“dfs.storage.policy.ena
请根据客户端所在位置,参考安装客户端章节,登录安装客户端的节点。 执行以下命令,配置环境变量。 source /opt/client/bigdata_env 执行以下命令,认证用户。 kinit hbase_creates_user 执行以下命令,进入Hive客户端shell环境:
如果您需要修改日志级别,请执行如下操作: 请参考修改集群服务配置参数,进入HDFS的“全部配置”页面。 左边菜单栏中选择所需修改的角色所对应的日志菜单。 选择所需修改的日志级别。 保存配置,在弹出窗口中单击“确定”使配置生效。 配置完成后立即生效,不需要重启服务。 日志格式 HDFS的日志格式如下所示:
端,例如安装目录为“/opt/Flumeclient”。以下操作的客户端目录只是举例,请根据实际安装目录修改。 将Master1节点上的认证服务器配置文件,复制到安装Flume客户端的节点,保存到Flume客户端中“Flume客户端安装目录/fusioninsight-flume
安装包含Flink、HBase等服务的客户端,安装路径如:/opt/hadoopclient。 以客户端安装用户登录安装客户端的节点,复制HBase的“/opt/client/HBase/hbase/conf/”目录下的所有配置文件至部署FlinkServer的所有节点的一个空目录,如“/tmp/client/HBase/hbase/conf/”。
wordCounts.print(); env.execute("Word Count Example"); 客户端层次 并行度可以在客户端将job提交到Flink时设定。对于CLI客户端,可以通过“-p”参数指定并行度。例如: ./bin/flink run -p 10 ../examp
hbase_create”或“hbase_creates_user”配置“Create”权限,具体操作可参考添加Hive的Ranger访问权限策略。 以客户端安装用户,登录安装客户端的节点。 执行以下命令,配置环境变量。 source /opt/client/bigdata_env
配置Windows通过EIP访问安全模式集群Kafka 操作场景 该章节通过指导用户配置集群绑定EIP,并配置Kafka文件的方法,方便用户可以在本地对样例文件进行编译。 操作步骤 为集群的每个节点申请弹性公网IP,并将本地Windows的hosts文件添加所有节点的公网IP对应
已获取账号AK和SK,详情请参考:如何获取访问密钥AK/SK。 操作步骤 在MRS主机上安装ICAgent,详情请参考:安装ICAgent(华为云主机)。 首次安装先安装一台服务器,然后按照继承批量安装的方式安装其他所有主机。 创建主机组,把1中已安装的ICAgent的主机加到主机组里面。 在云日志服务管理控
配置Windows通过EIP访问集群Spark 操作场景 该章节通过指导用户配置集群绑定EIP,并配置Spark文件的方法,方便用户可以在本地对样例文件进行编译。 本章节以运行SparkScalaExample样例为例进行说明。 操作步骤 为集群的每个节点申请弹性公网IP,并将本
配置资源池的队列容量策略 添加资源池后,需要为YARN任务队列配置在此资源池中可使用资源的容量策略,队列中的任务才可以正常在这个资源池中执行。每个队列只能配置一个资源池的队列容量策略。用户可以在任何一个资源池中查看队列并配置队列容量策略。配置队列策略后,YARN任务队列与资源池形成关联关系。
操作步骤 使用MRS集群管理员用户(例如admin)登录Manager页面。 选择“集群 > 服务 > HDFS > 配置 > 全部配置”进入HDFS全部配置页面。 搜索并修改“dfs.namenode.fgl.enable”参数,配置项详细说明如下表。 参数 参数说明 备注 dfs
SDK”为“SDKs”中添加的JDK。 单击“Apply”,单击“OK”。 配置Maven。 参考配置华为开源镜像仓章节描述,增加开源镜像仓地址等配置信息到本地Maven的“setting.xml”配置文件。 修改完成后,在IntelliJ IDEA选择“File > Settings
Admin”,单击“Save”保存配置。 说明: Ranger页面的“Settings”选项只有rangeradmin用户有权限访问。用户绑定Hive管理员角色后,在每个维护操作会话中,还需要执行以下操作: 以客户端安装用户,登录安装Hive客户端的节点。 执行以下命令配置环境变量。 例如,H
用户同步”右侧的“同步”进行IAM用户同步)。 如果通过Manager界面操作,需要已登录MRS集群Manager界面,详情请参考访问MRS集群Manager。 通过管理控制台查看集群事件 登录MRS管理控制台。 选择“现有集群”,选中一个运行中的集群并单击集群名称,进入集群信息页面。
配置Windows通过EIP访问集群Spark 操作场景 该章节通过指导用户配置集群绑定EIP,并配置Spark文件的方法,方便用户可以在本地对样例文件进行编译。 本章节以运行SparkScalaExample样例为例进行说明。 操作步骤 为集群的每个节点申请弹性公网IP,并将本
--list 执行删除命令后topic数据为空则此topic会立刻被删除,如果有数据则会标记删除,后续Kafka会自行进行实际删除。 父主题: 组件配置类
确定”。 default密码策略和已经被用户绑定的密码策略不能被删除。 修改密码策略 登录Manager。 进入密码策略配置页面。 MRS 2.x及之前版本:选择“系统设置”,单击“密码策略配置”。 MRS 3.x及之后版本:选择“系统 > 权限 > 安全策略 > 密码策略”,单击待修改的密码策略所在行的“修改”。
6及以后版本,用户对于getAcl操作需要有读权限。 前提条件 已安装ZooKeeper客户端。例如安装目录为“/opt/client”。 已获取MRS集群管理员用户和密码。 操作步骤 启动ZooKeeper客户端 以root用户登录安装了ZooKeeper客户端的服务器。 进入客户端安装目录。 cd /opt/client
前提条件 已安装ClickHouse客户端。 在Manager已创建具有ClickHouse相关表权限的用户。 已准备好备份服务器。 备份数据 以客户端安装用户,登录安装客户端的节点。 执行以下命令,切换到客户端安装目录。 cd /opt/client 执行以下命令配置环境变量。 source