检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
regionserver.global.memstore.size.lower.limit” * “HBase_HEAPSIZE” 说明: 该配置与“hfile.block.cache.size”的和不能超过0.8,也就是写和读操作的内存不能超过HeapSize的80%,这样可以保证除读和写外其他操作的正常运行。
8版本的JDK。 获取并解压缩安装包“MRS_Spark_Client.tar”。执行如下命令解压。 tar -xvf MRS_Spark_Client.tar tar -xvf MRS_Spark_ClientConfig.tar 由于不兼容老版本客户端,建议用户获取与服务端集群相同版本的客户端安装包进行安装部署。
program:存放用户程序 input:存放用户数据文件 进入program文件夹,选择“上传文件 > 添加文件”,从本地选择1中下载的程序包,然后单击“上传”,上传完成后如图2所示。 图2 程序列表 进入input文件夹,将2中准备的数据文件上传到input文件夹,上传完成后如图3所示。
AM委托对接OBS。 存算分离功能使用流程: 配置存算分离集群。 请选择如下其中一种配置即可(推荐使用委托方式)。 通过为MRS集群绑定ECS委托方式访问OBS,避免了AK/SK直接暴露在配置文件中的风险,具体请参考配置MRS集群通过IAM委托对接OBS。 在MRS集群中配置AK
的告警信息影响到服务的使用,其告警级别达到致命时,则发送信息通知给对应租户。 在用户集群的ECS机器被删除、关机、修改规格、重启、更新OS的行为,会导致大数据集群异常,当检测到用户的虚拟机出现以上状态的时候,发送通知给对应用户。 创建主题 主题是消息发布或客户端订阅通知的特定事件
l:StorageLevel)可以为RDD设置其他存储级别,但是要求调用该方法之前RDD的存储级别为StorageLevel.NONE或者与newLevel相同,也就是说,RDD的存储级别一旦设置为StorageLevel.NONE之外的级别,则无法改变。 如果想要将RDD去持久
program:存放用户程序 input:存放用户数据文件 进入program文件夹,选择“上传文件 > 添加文件”,从本地选择1中下载的程序包,然后单击“上传”,上传完成后如图2所示。 图2 程序列表 进入input文件夹,将2中准备的数据文件上传到input文件夹,上传完成后如图3所示。
ry实例。 升级更新节点环境上的curl版本。具体curl版本升级方法如下: 下载curl安装包(http://curl.haxx.se/download/)。 使用如下命令进行安装包解压: tar -xzvf curl-x.x.x.tar.gz 使用如下命令覆盖安装: cd curl-x
创建FlinkServer作业写入数据至Kafka消息队列 本章节适用于MRS 3.1.2及之后的版本。 操作场景 本章节介绍Kafka作为source表或者sink表的DDL定义,以及创建表时使用的WITH参数和代码示例,并指导如何在FlinkServer作业管理页面操作。 本示例以安全模式Kafka为例。
的场景涉及,URL填写对象在obs上的完整路径。与URL联合使用的Read,Write 权限,其他场景不涉及URL策略。 Ranger策略中global策略仅用于和Temprorary UDF Admin权限联合使用,控制UDF包的上传。 Ranger策略中的hiveservice策略仅用于和Service
开启 用户名 默认为“root/admin”,root用于远程登录ECS机器,admin用于登录集群管理页面。 root/admin 密码 设置root用户和admin用户密码。 设置密码登录集群管理页面及ECS节点用户的密码,例如:Test!@12345。 确认密码 - 再次输入设置用户密码
okupBolt和JdbcInsertBolt中也可以增加处理逻辑对数据进行处理。 本章节只适用于MRS产品Storm与JDBC组件间的访问。本章中描述的jar包的具体版本信息请以实际情况为准。 应用开发操作步骤 确认Storm组件已经安装,且正常运行。 下载Storm客户端,将
上的场景涉及,URL填写对象在OBS上的完整路径。与URL联合使用的Read,Write权限,其他场景不涉及URL策略。 Ranger策略中global策略仅用于和Temprorary UDF Admin权限联合使用,控制UDF包的上传。 Ranger策略中的hiveservice策略仅用于和Service
Filter_Condition(NonIndexCol1) 针对多个列创建的联合索引场景下: 当查询时使用的列(多个),是联合索引所有对应列的一部分或者全部,且列的顺序与联合索引一致时,此索引会被利用来提升查询性能。 例如,针对C1、C2、C3列创建了联合索引,生效的场景包括: Filter_Condition(IndexCol1)
Filter_Condition(NonIndexCol1) 针对多个列创建的联合索引场景下: 当查询时使用的列(多个),是联合索引所有对应列的一部分或者全部,且列的顺序与联合索引一致时,此索引会被利用来提升查询性能。 例如,针对C1、C2、C3列创建了联合索引,生效的场景包括: Filter_Condition(IndexCol1)
Filter_Condition(NonIndexCol1) 针对多个列创建的联合索引场景下: 当查询时使用的列(多个),是联合索引所有对应列的一部分或者全部,且列的顺序与联合索引一致时,此索引会被利用来提升查询性能。 例如,针对C1、C2、C3列创建了联合索引,生效的场景包括: Filter_Condition(IndexCol1)
连接 该章节指导用户在创建MRS 3.3.0-LTS集群时配置LakeFormation数据连接,并在创建完成后配置MRS集群相关参数完成与LakeFormation的对接。 创建集群时配置LakeFormation数据连接 进入购买MRS集群页面。 单击“购买集群”,进入“购买集群”页面。
size”即可设置jar文件阈值,取值范围为100-5120,单位MB。 Main Class Main-Class类型。 默认:默认根据Jar包文件的Mainfest文件指定类名。 指定:手动指定类名。 类名 类名。 “Main Class”选择“指定”时存在该参数。 类参数 类参数
Filter_Condition(NonIndexCol1) 针对多个列创建的联合索引场景下: 当查询时使用的列(多个),是联合索引所有对应列的一部分或者全部,且列的顺序与联合索引一致时,此索引会被利用来提升查询性能。 例如,针对C1、C2、C3列创建了联合索引,生效的场景包括: Filter_Condition(IndexCol1)
连接 该章节指导用户在创建MRS 3.3.0-LTS集群时配置LakeFormation数据连接,并在创建完成后配置MRS集群相关参数完成与LakeFormation的对接。 创建集群时配置LakeFormation数据连接 进入购买MRS集群页面。 单击“购买集群”,进入“购买集群”页面。