检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建一个混合集群,集群版本号为MRS 3.1.0。其中包含一个Master节点组,节点数为2;两个Core节点组,每个Core节点组的节点数均为3;两个Task节点组,一个Task节点组节点数为1,另一个节点数为0。 POST /v2/{project_id}/clusters {
本章节以在Windows环境下开发JDBC/HCatalog方式连接Hive服务的应用程序为例。 HCatalog样例仅支持在Linux节点上运行。 操作步骤 参考获取MRS应用开发样例工程,获取样例代码解压目录中“src\hive-examples”目录下的样例工程文件夹“hi
作。 以在Windows环境下开发JDBC/HCatalog方式连接Hive服务的应用程序为例。 HCatalog样例仅支持在Linux节点上运行。 操作步骤 参考获取MRS应用开发样例工程,获取样例代码解压目录中“src\hive-examples”目录下的样例工程文件夹“hi
在“标签”填写“标签键”和“标签值”,用于标识云资源,可对云资源进行分类和搜索。 向主题添加订阅 要接收发布至主题的消息,您必须添加一个订阅终端节点到该主题。消息通知服务会发送一条订阅确认的消息到订阅终端,订阅确认的消息将在48小时内有效。如果订阅者在48小时之内确认订阅,将会收到推送至
JDBC_BASE_TBL= 在Linux环境下安装Storm客户端。 集群的Master节点或者Core节点使用客户端可参考集群内节点使用MRS客户端,MRS集群外客户端的安装操作可参考集群外节点使用MRS客户端。 数据库配置—Derby数据库配置过程 首先应下载一个数据库,可根据具体场景选择最适合的数据库。
本地新建文件“input_data1.txt”,将“log1.txt”的内容复制保存到“input_data1.txt”。 在客户端安装节点下创建文件目录:“/home/data”。将上述文件上传到此“/home/data”目录下。 创建Topic。 {zkQuorum}表示Zo
下业务场景: 集群异构,集群中各个节点的计算速度、存储容量和网络性能存在差异,需要把复杂应用的所有任务按照需求,合理地分配到各个计算节点上。 计算分离,多个部门需要数据共享,但是需要把计算完全分离在不同的计算节点上。 这就要求对计算资源的节点进一步分区。 资源池用来指定动态资源的
compaction压力增大,该参数取值范围为[1,10],默认值为“1”,建议根据实际资源情况进行设置。 操作步骤 以客户端安装用户,登录安装客户端的节点。 执行以下命令切换到客户端目录。 cd 客户端安装目录 执行以下命令配置环境变量。 source bigdata_env 如果当前集群已启
balancer实例error日志不回滚问题 解决ClickHouse节点上的副本同步及part合并因后台处理线程被占满且长时间未释放(TTL触发的merge占用内存超过最大内存导致合并失败),导致该两个节点与副本节点的数据落后其副本节点的问题 解决ClickHouse实例crash问题,将boost更新到1
descriptor,region info和HFile的引用信息。通过这些元数据信息可以恢复快照时间点之前的数据。 HDFS快照 HDFS快照是HDFS文件系统在特定时间点的只读备份副本,主要用于数据备份、用户误操作保护和灾难恢复的场景。 任意HDFS目录均可以配置启用快照功
步骤3:Hive外表数据通过CDM迁移到Doris 创建Doris的Unique表。 登录Doris集群中已安装好MySQL客户端的MRS Master节点,执行如下命令进入Doris数据库。 export LIBMYSQL_ENABLE_CLEARTEXT_PLUGIN=1 (若集群已启用Ke
后开始冷却,并且冷却后的冷数据会存放到2创建Resource时配置的OBS对应的路径下。 通过时间节点设置数据冷却策略: 除了设置TTL以外,在Policy中也支持设置冷却的时间点: CREATE STORAGE POLICY IF NOT EXISTS policy_doris_hot_cold2
min_capacity 是 Integer 参数解释: 指定该节点组的最小保留节点数。 约束限制: 不涉及 取值范围: 0-500 默认取值: 不涉及 max_capacity 是 Integer 参数解释: 指定该节点组的最大节点数。 约束限制: 不涉及 取值范围: 0-500 默认取值:
r客户端端口号/kafka sh kafka-console-producer.sh --broker-list Kafka角色实例所在节点的IP地址:Kafka端口号 --topic 主题名称 --producer.config 客户端目录/Kafka/kafka/config/producer
本地新建文件“input_data1.txt”,将“log1.txt”的内容复制保存到“input_data1.txt”。 在客户端安装节点下创建文件目录:“/home/data”。将上述文件上传到此“/home/data”目录下。 将Kafka的Broker配置参数“allow
之在Presto服务中生效,需要重启Presto服务。 在开启OBS权限控制功能时各组件访问OBS的说明 以root用户登录集群任意一个节点,密码为用户创建集群时设置的root密码。 配置环境变量: cd 客户端安装目录 source 客户端安装目录/bigdata_env 如果
保存并重启ClickHouse服务。 自定义冷热分离数据存储策略 使用clickhouse client客户端命令连接ClickHouseServer节点,具体请参考ClickHouse客户端使用实践。 创建配置冷热存储TTL策略的ReplicatedMergeTree表。 ClickHous