检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
-t查看挂接的分区状态,发现java执行文件所在的挂载点的分区状态是“noexec”。当前环境中将安装MRS客户端所在的数据盘配置成“noexec”,即禁止二进制文件执行,从而无法使用java命令。 解决方法 以root用户登录MRS客户端所在节点。 移除“/etc/fstab”文件中MRS客
多的各种数据库、数据仓库等,此时会面临数据源种类繁多、数据集结构化混合、相关数据存放分散等困境,导致跨源查询开发成本高,跨源复杂查询耗时长。 HetuEngine提供了统一标准SQL实现跨源协同分析,简化跨源分析操作。 图1 永洪BI访问MRS HetuEngine 约束与限制 已安装Yonghong
使用安装客户端用户登录客户端安装节点。 配置环境变量。 source 客户端安装目录/bigdata_env 如果是安全集群,使用以下命令用户进行用户认证,如果当前集群未启用Kerberos认证,则无需执行此命令。 kinit 用户名 在spark-beeline中访问OBS,例如在“obs://mrs-wor
admin; 设置在默认数据库中,查询其他用户表的权限 在“配置资源权限”的表格中选择“待操作集群的名称 > Hive > Hive读写权限”。 在数据库列表中单击指定的数据库名称,显示数据库中的表。 在指定表的“权限”列,勾选“查询”。 设置在默认数据库中,导入数据到其他用户表的权限
默认创建的数据库或表保存在HDFS目录“/user/hive/warehouse”。系统自动以数据库名称和数据库中表的名称创建子目录。访问数据库或者表,需要在HDFS中拥有对应文件的权限,包含“读”、“写”和“执行”权限。 用户对SparkSQL数据库或表执行不同操作时,需要关
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
admin; 设置在默认数据库中,查询其他用户表的权限 在“配置资源权限”的表格中选择“待操作集群的名称 > Hive > Hive读写权限”。 在数据库列表中单击指定的数据库名称,显示数据库中的表。 在指定表的“权限”列,勾选“查询”。 设置在默认数据库中,导入数据到其他用户表的权限
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
单击“添加角色”,输入“角色名称”和“描述”。 在“权限”的表格中选择“Hive > Hive Read Write Privileges”。 在数据库列表中单击用户B创建的表所在的数据库名称,显示用户B创建的表。 在用户B创建的表的“权限”列,勾选“Select”。 单击“确定”,返回“角色”。 选择“系统设置
执行以下命令配置环境变量。 source bigdata_env 如果当前集群已启用Kerberos认证,执行以下命令认证当前用户,当前用户需要具有创建ClickHouse表的权限。如果当前集群未启用Kerberos认证,则无需执行本步骤。 如果是MRS 3.1.0版本集群,则需要先执行:
执行以下命令配置环境变量。 source bigdata_env 如果当前集群已启用Kerberos认证,执行以下命令认证当前用户,当前用户需要具有创建ClickHouse表的权限。如果当前集群未启用Kerberos认证,则无需执行本步骤。 如果是MRS 3.1.0版本集群,则需要先执行:
产生告警的作业名称。 数据库名 产生告警的数据库名称。 Slot名 产生告警的数据库复制槽名称。 积压量 Slot数据积压情况。 对系统的影响 WAL日志在源端数据库不断积压,可能导致源端PostgreSQL或Opengauss数据库磁盘空间耗尽,最终导致PostgreSQL或Opengauss数据库无法提供服务。
联系网络管理员恢复网络。 在FusionInsight Manager界面,选择“集群 > 服务 > Doris”,在左侧图表分类中单击“连接”,查看“FE的MySQL端口连接数”监控图表,如果连接数较大;选择“实例 > FE > 图表”,在左侧图表分类中单击“CPU和内存”,查看“FE的CPU使用率”
SYNC; 在删除复制表时,因为复制表需要在Zookeeper上建立一个路径,存放相关数据。ClickHouse默认的库引擎是原子数据库引擎,删除Atomic数据库中的表后,它不会立即删除,而是会在480秒后删除。在删除表时,加上SYNC字段,即可解决该问题,例如:drop table t1
创建ClickHouse数据库 本章节介绍创建ClickHouse数据库样例代码。 通过on cluster语句在集群中创建表1中以databaseName参数值为数据库名的数据库。 示例代片段参考如下: private void createDatabase(String databaseName
小文件自动合并特性开启后,Spark将数据先写入临时目录,再去检测每个分区的平均文件大小是否小于16MB(默认值)。如果发现平均文件大小小于16MB,则认为分区下有小文件,Spark会启动一个Job合并这些小文件,并将合并后的大文件写入到最终的表目录下。 使用约束 写入表的类型为:Hive、Datasource
查看任务执行情况。 在FusionInsight Manager界面,选择“集群 > 服务 > Doris”,在左侧图表分类中单击“连接”,查看“FE的MySQL端口连接数”监控图表,如果连接数较大;选择“实例 > FE > 图表”,在左侧图表分类中单击“CPU和内存”,查看“FE的CPU使用率”
SYNC; 在删除复制表时,因为复制表需要在Zookeeper上建立一个路径,存放相关数据。ClickHouse默认的库引擎是原子数据库引擎,删除Atomic数据库中的表后,它不会立即删除,而是会在480秒后删除。在删除表时,加上SYNC字段,即可解决该问题,例如:drop table t1
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
bigdata_env 集群已启用Kerberos认证(安全模式): kinit 组件业务用户 clickhouse client --host 上报告警的ClickHouseServer实例IP --port 9440 --secure 集群未启用Kerberos认证(普通模式):