正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置Spark Executor退出时执行自定义代码 本章节仅适用于MRS 3.2.0及之后版本。 配置场景 通过配置如下参数可以实现Executor退出时执行自定义代码。 配置参数 在Spark客户端的“spark-defaults.conf”配置文件中进行设置。 参数 说明 默认值
查询外部Hive数据源使用自动刷新物化视图注意事项 维护实例默认使用HetuEngine内置用户hetuserver/hadoop.<系统域名>作为执行物化视图自动刷新的用户, 当创建物化视图语句查询外部Hive数据源,且该数据源已开启数据源鉴权时,需修改执行自动刷新的用户,修改方法如下:
表示Loader连接支持的数据,可以选择“ORACLE”、“MYSQL”和“MPPDB”。 数据库服务器 表示数据库的访问地址,可以是IP地址或者域名。 端口 表示数据库的访问端口。 数据库名称 表示保存数据的具体数据库名。 用户名 表示连接数据库使用的用户名称。 密码 表示此用户对应的密码。需要与实际密码保持一致。
name=xxx&age=25#teacher');--teacher url_extract_host(url)→ varchar 描述:返回url中的主机域名。 select url_extract_host('http://www.example.com:80/stu/index.html?
使用BulkLoad工具批量更新HBase数据 操作场景 HBase BulkLoad工具支持根据RowKey的命名规则、RowKey的范围、字段名以及字段值进行批量更新数据。 使用BulkLoad工具批量更新HBase数据 执行如下命令更新从“row_start”到“row_s
使用BulkLoad工具批量导入HBase数据 操作场景 您可以按照自定义的方式,通过命令批量导入数据到HBase中并创建索引。 您可以在“configuration.xml”文件中定义多个方式来批量导入数据,导入数据时可不创建索引。 列的名称不能包含特殊字符,只能由字母、数字和下划线组成。
修改ClickHouse服务级别内存限制 本章节内容仅适用于MRS 3.2.0及之后版本。 操作场景 为保证ClickHouseServer实例所在节点其他服务实例的正常使用,ClickHouseServer支持修改在当前节点占用的最大内存。 操作步骤 登录FusuinInsight
使用BulkLoad工具批量删除HBase数据 操作场景 BulkLoad工具支持根据rowkey的取值模式、范围、字段名、字段值对HBase做批量删除。 使用BulkLoad工具批量删除HBase数据 执行如下命令删除从“row_start”到“row_stop”的行,并且把输
配置多主实例模式 配置场景 集群中支持同时共存多个ThriftServer服务,通过客户端可以随机连接其中的任意一个服务进行业务操作。即使集群中一个或多个ThriftServer服务停止工作,也不影响用户通过同一个客户端接口连接其他正常的ThriftServer服务。 配置描述 登录Manager,选择“集群
升级MRS集群Master节点规格 随着用户业务的增长,Core节点的扩容,CPU使用率变高,而Master节点规格已经不满足用户需求时,则需要升级Master节点规格。本章节介绍Master节点规格升级的操作流程。 前提条件 确认是否开启了主机安全服务(Host Security
机架名称需遵循实际网络拓扑结构,以层级形式表示;各层级间以斜线“/”隔开。 机架命名规则为:“/level1/level2/…”,级别至少为一级,名称不能为空。机架名称由字母、数字及下划线“_”组成,且总长度不超过200个字符。 例如“/default/rack0”。 如果待修改机
DBServer实例一直处于Restoring状态 问题背景与现象 DBServer实例状态一直是Restoring状态,重启之后仍然不恢复。 原因分析 DBService组件会对“${BIGDATA_HOME}/MRS_XXX/install/dbservice/ha/modu
退订MRS包周期集群指定节点 用户可以根据业务需求量,通过指定节点对集群进行缩容,以使MRS拥有更优的存储、计算能力,降低运维成本。 目前一次操作最多可以退订20个Core节点,退订后的Core节点数不能小于2。 退订节点时,须等待隔离/退服成功后,才能进行退订操作,否则会造成数据丢失等风险。
配置仅Hive管理员用户能创建库和在default库建表 操作场景 此功能在MRS 3.x之前版本适用于Hive,Spark。在MRS3.x及后续版本适用于Hive,Spark2x。 开启此功能后,仅有Hive管理员可以创建库和在default库中建表,其他用户需通过Hive管理员授权才可使用库。
配置用户在具有读和执行权限的目录中创建外表 操作场景 此功能在MRS 3.x之前版本适用于Hive,Spark。在MRS3.x及后续版本适用于Hive,Spark2x。 开启此功能后,允许有目录读权限和执行权限的用户和用户组创建外部表,而不必检查用户是否为该目录的属主,并且禁止外
配置仅Hive管理员用户能创建库和在default库建表 操作场景 Hive支持配置仅有Hive管理员可以创建库和在default库中建表,其他用户需通过Hive管理员授权才可使用库。 开启本功能之后,会限制普通用户新建库和在default库新建表。请充分考虑实际应用场景,再决定是否作出调整。
配置用户在具有读和执行权限的目录中创建外表 “hive.restrict.create.grant.external.table”参数用于配置允许有目录读权限和执行权限的用户和用户组创建Hive外部表,而不必检查用户是否为该目录的属主,并且禁止外表的Location目录在当前默认
Spark Streaming任务一直阻塞 问题 运行一个Spark Streaming任务,确认有数据输入后,发现没有任何处理的结果。打开Web界面查看Spark Job执行情况,发现如下图所示:有两个Job一直在等待运行,但一直无法成功运行。 图1 Active Jobs 继
配置过滤掉分区表中路径不存在的分区 配置场景 当读取HIVE分区表时,如果指定的分区路径在HDFS上不存在,则执行select查询时会报FileNotFoundException异常。此时可以通过配置“spark.sql.hive.verifyPartitionPath”参数来过
使用BulkLoad工具查询HBase表的行统计数 操作场景 HBase BulkLoad工具支持根据rowkey的命名规则、rowkey的范围、字段名以及字段值统计符合条件的行数。 操作步骤 直接执行如下命令统计满足如下条件的行数。rowkey在从“row_start”到“ro