检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
获取。 cd 客户端安装目录 source bigdata_env kinit hdfs 如果集群未开启Kerberos认证,执行如下命令切换到omm用户,再进入客户端安装目录设置环境变量。 su - omm cd 客户端安装目录 source bigdata_env 获取文件列表。
house”用户密码也会重置,需要重新修改密码。 修改ClickHouse默认用户密码 使用root用户登录ClickHouse安装节点,切换到omm用户,进入“$BIGDATA_HOME/FusionInsight_ClickHouse_*/install/FusionInsi
[5, 6, 7] | [25, 36, 49] (3 rows) 利用transform()函数将数组元素转为字符串,无法转换则转为NULL输出,避免报错产生: SELECT transform(prices, n -> TRY_CAST(n AS VARCHAR)
Scope > global”。 在指定命名空间的“权限”列,勾选“写”。例如勾选默认命名空间“default”的“写”权限。HBase子对象默认可从父对象继承权限,此时已授予向命名空间中的表写入数据的权限。 设置用户读取数据的权限 在“配置资源权限”的表格中选择“待操作集群的名称 > HBase
Scope > global”。 在指定命名空间的“权限”列,勾选“写”。例如勾选默认命名空间“default”的“写”。HBase子对象默认可从父对象继承权限,此时已授予向命名空间中的表写入数据的权限。 设置用户读取数据的权限 在“配置资源权限”的表格中选择“待操作集群的名称 > HBase
ata region并挂载在某个槽位上。所以ConfigNode的内存容量占用跟存储组个数和该存储组持续写入的时间相关。 槽位分配相关对象 对象大小(字节) TTimePartitionSlot 4 TSeriesPartitionSlot 8 TConsensusGroupId
DataBase设计 业务隔离设计-各业务分库设计 在业务规划时,不同业务归属于不同数据库,便于后续对应用户关联的数据库下表、视图等数据库对象权限的分离管理和维护。 业务隔离设计-不要在system库中创建业务表 system数据库是ClickHouse默认的系统数据库,默认数据
若Kafka的leader和follower的offset相差太大,用户重启Kafka服务,Kafka的follower和leader相互切换,则Kafka服务重启后,topic的offset变小。 若Spark Streaming应用一直在运行,由于Kafka上topic的of
图中有三个不同的用户:用户A、用户B和用户C。 角色 角色是承载一个或多个权限的载体。权限是限定在具体对象上的,例如对HDFS中的“/tenant”目录的访问权限,这里权限就限定在“/tenant”目录这个具体对象上。 图中有四个不同的角色:角色“t1”、角色“t2”、角色“t3”和角色“Manager_tenant”。
Streaming 状态操作 Scala SparkOnHudiJavaExample 使用Spark执行Hudi基本操作 Java SparkOnHudiPythonExample 使用Spark执行Hudi基本操作 Python SparkOnHudiScalaExample 使用Spark执行Hudi基本操作
从Hudi同步数据到DWS或ClickHouse任务中,在Hudi中物理删除的数据目的端不会同步删除。例如,在Hudi中执行delete from tableName命令硬删除表数据,目的端DWS或ClickHouse仍存在该表数据。 MySQL数据库需要开启MySQL的bin
x之前版本请参考安装客户端章节。 MRS 3.x及之后版本请参考安装客户端章节。 以客户端安装用户,登录安装客户端的节点。 执行以下命令,切换到客户端安装目录。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 如果集群为安全模式,执
果Kafka的leader和follower的offset相差太大,用户重启Kafka服务,Kafka的follower和leader相互切换,则Kafka服务重启后,topic的offset变小。 如果Spark Streaming应用一直在运行,由于Kafka上topic的o
SparkRExample 安装SparkR R SparkOnHudiJavaExample 使用Spark执行Hudi基本操作 Java SparkOnHudiPythonExample 使用Spark执行Hudi基本操作 Python SparkOnHudiScalaExample 使用Spark执行Hudi基本操作
使用Hive客户端(MRS 3.x之前版本) 安装客户端,具体请参考安装客户端章节。 以客户端安装用户,登录安装客户端的节点。 执行以下命令,切换到客户端安装目录。 cd /opt/hadoopclient 执行以下命令配置环境变量。 source bigdata_env 根据集群认证模式,完成Hive客户端登录。
e表上原始数据,因为保留一张未加密的表存在安全风险。 创建Hive列加密表 以Hive客户端安装用户登录安装客户端的节点。 执行以下命令,切换到客户端安装目录,配置环境变量并认证用户。 cd 客户端安装目录 source bigdata_env kinit Hive业务用户(如果
本章节适用于MRS 3.x及后续版本。 前提条件 已安装Hive客户端。 操作步骤 以Hive客户端安装用户登录安装客户端的节点。 执行以下命令,切换到客户端安装目录。 cd 客户端安装目录 例如安装目录为“/opt/client”,则执行以下命令: cd /opt/client 执行以下命令配置环境变量。
自身的配置优先。 单击“确定”。 完成后请重新启动配置过期的服务或实例以使配置生效。 配置实例组参数:在“实例组”页签导航栏选择一个角色,切换至“配置”页签,调整需要修改的配置参数后单击“保存”,相关配置将对实例组内所有实例生效。 父主题: 管理MRS集群组件
分析集群HDFS使用情况,增加HDFS分配给Hive使用的容量上限。 登录MRS集群详情页面,单击“组件管理 > Hive > 服务配置”,将“基础配置”切换为“全部配置”,然后查找“hive.metastore.warehouse.size.percent”,调大该配置项。设配置项的值为A,H
DICTIONARY_EXCLUDE 设置指定列不生成字典,适用于数值复杂度高的列。系统默认为String类型的列做字典编码,但是如果字典值过多,会导致字典转换操作增加造成性能下降。 一般情况下,列的数值复杂度高于5万,可以被认定为高复杂度,则需要排除掉字典编码,该参数为可选参数。 说明: 在非字