检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
该章节仅适用MRS 3.x及之后版本。 使用Kafka客户端修改Kafka Topic 进入ZooKeeper实例页面: 登录FusionInsight Manager,具体请参见访问FusionInsight Manager(MRS 3.x及之后版本)。然后选择“集群 > 服务 >
待操作的服务名称”,单击右上角的“更多”,选择“重启服务”。 升级路径不一样重启的服务不一样,详情见如下表格。 表1 重启组件 集群当前补丁版本 目标补丁版本 重启的组件 MRS 3.3.0.3 MRS 3.3.0.3.1 StarRocks 表2 重启策略以及影响 组件名称 重启策略 影响范围
用。 锁定用户 MRS 3.x及之后版本: 登录Manager页面。 选择“系统 > 权限 > 用户”。 在要锁定用户所在行,单击“锁定”。 在弹出的窗口勾选“我已阅读此信息并了解其影响。”,单击“确定”完成锁定操作。 MRS 2.x及之前版本: 在MRS Manager,单击“系统设置”。
登录Manager。选择“租户资源 > 资源池”。 MRS 2.x及之前版本选择“租户管理 > 资源池”。 在资源池列表指定资源池所在行的“操作”列,单击“编辑”。 MRS 2.x及之前版本、MRS 3.3.0及之后版本单击“修改”。 修改资源池主机。 增加主机:在界面左边主机列表,勾
准备好的开发用户。 打包项目 将user.keytab、krb5.conf 两个文件上传客户端所在服务器上。 通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 编译打包前,样例代码中的user.keytab、krb5
客户端运行环境已安装1.7或1.8版本的JDK。 获取并解压缩安装包“MRS_HDFS_Client.tar”。执行如下命令解压。 tar -xvf MRS_HDFS_Client.tar tar -xvf MRS_HDFS_ClientConfig.tar 由于不兼容老版本客户端,建议用户获取
供丰富的组件搭配,可自行选择对应版本MRS集群所支持的所有组件。 版本类型 LTS版 待创建的MRS集群版本类型。 集群版本 MRS 3.2.0-LTS.1 待创建的MRS集群版本,不同版本所包含的开源组件版本及功能特性可能不同,推荐选择最新版本。 组件选择 Hadoop分析集群
定制端口默认值为:22260 端口定制/开源区分:创建LTS版本类型集群时,可以选择“组件端口”为“开源”或是“定制”,选择“开源”使用开源端口,选择“定制”使用定制端口。 root用户初始密码MRS 3.3.0之前版本为“root”,MRS 3.3.0及之后版本为“Iotdb@123”。 修改的用户密码字符长度MRS
除了导入MapReduce样例工程,您还可以使用IntelliJ IDEA新建一个MapReduce工程。 操作步骤 打开IntelliJ IDEA工具,选择“File > New > Project”,如图1所示。 图1 创建工程 在“New Project”页面选择“Java”,然后配
除了导入MapReduce样例工程,您还可以使用IntelliJ IDEA新建一个MapReduce工程。 操作步骤 打开IntelliJ IDEA工具,选择“File > New > Project”,如图1所示。 图1 创建工程 在“New Project”页面选择“Java”,然后配
执行以下命令,输入kadmin/admin用户密码后进入kadmin控制台。 kadmin -p kadmin/admin 3.x及之后版本默认密码:Admin@123。3.x之前版本默认密码:KAdmin@123。 首次登录后会提示该密码过期,请按照提示修改密码并妥善保存。 执行以下命令 ,查看被锁用户数据密码错误次数“Failed
keygenerator.type 选填 上游表主键生成类型。 COMPLEX read.streaming.check-interval 选填 流读检测上游新提交的周期,默认值为1分钟。 5(流量大建议使用默认值) read.end-commit 选填 Stream增量消费,通过参数read
据。 set hive.textinput.record.delimiter=''; 当前版本的Hue组件,不支持导入文件到Hive表时设置多个分隔符。 本章节适用于MRS 3.x及后续版本。 操作步骤 创建表时指定inputFormat和outputFormat: CREATE
除了导入MapReduce样例工程,您还可以使用IntelliJ IDEA新建一个MapReduce工程。 操作步骤 打开IntelliJ IDEA工具,选择“File > New > Project”,如图1所示。 图1 创建工程 在“New Project”页面选择“Java”,然后配
配置Spark事件队列大小 配置parquet表的压缩格式 使用Ranger时适配第三方JDK 配置Spark小文件自动合并 使用Spark小文件合并工具说明 配置流式读取Spark Driver执行结果 配置Spark Executor退出时执行自定义代码 配置Spark动态脱敏 Spark
HBase集群使用Hadoop和HBase组件提供一个稳定可靠,性能优异、可伸缩、面向列的分布式云存储系统,适用于海量数据存储以及分布式计算的场景,用户可以利用HBase搭建起TB至PB级数据规模的存储系统,对数据轻松进行过滤分析,毫秒级得到响应,快速发现数据价值。 Hadoop、HBase、ZooKeeper、Ranger
使用CDM迁移数据的过程中,HDFS的数据量过大,导致在合并元数据时发生堆栈异常。 处理步骤 进入HDFS服务配置页面: MRS 3.x之前版本,单击集群名称,登录集群详情页面,选择“组件管理 > HDFS > 服务配置”,单击“基础配置”下拉菜单,选择“全部配置”。 如果集群详情
通过Manager启停集群 MRS 3.x及以后版本: 登录集群Manager界面。 单击主页上待操作集群名称后的,单击“停止”,输入集群管理员密码后在弹出的“停止集群”窗口中单击“确定”,等待集群停止成功。 MRS 2.x及之前版本: 登录集群Manager界面,单击“服务管理”。
在下拉菜单中选择Hive表文件的压缩格式,未配置或选择“NONE”表示不压缩数据。 enum 是 NONE Hive ORC文件版本 通过该字段配置ORC文件的版本(当Hive表文件的存储格式是ORC时)。 enum 是 0.12 输出分隔符 配置分隔符。 string 是 无 输出字段
在下拉菜单中选择SparkSQL表文件的压缩格式,未配置或选择“NONE”表示不压缩数据。 enum 是 NONE Spark ORC文件版本 通过该字段配置ORC文件的版本(当SparkSQL表文件的存储格式是ORC时)。 enum 是 0.12 输出分隔符 配置分隔符。 string 是 无