检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
工具的无缝对接。 架构精简:系统只有两个Frontend(FE)和Backend(BE)两个模块,其中FE节点负责用户请求的接入、查询计划的解析、元数据存储及集群管理等工作,BE节点负责数据存储和查询计划的执行,自身就是一个完备的分布式数据库管理系统,用户无需安装任何第三方管控组
把SequenceFile文件目录上传到CloudTable的客户端所在服务器,假设存放目录为“/tmp/sequencefile”。 Import工具需要在客户端主机的操作系统的shell界面中执行。在客户端机器上进入HBase目录后执行Import工具,Import工具的命令格式如下: ./bin/hbase
开发环境简介 在进行二次开发时,要准备的开发环境如表1所示。 表1 开发环境 准备项 说明 操作系统 Windows系统,推荐Windows 7及以上版本。 安装JDK 开发环境的基本配置。版本要求:1.7或者1.8。考虑到后续版本的兼容性,强烈推荐使用1.8。 说明: 基于安全
部分导入功能也会由系统自动生成。 Label是用于保证对应的导入任务,仅能成功导入一次。一个被成功导入的Label,再次使用时,会被拒绝并报错Label already used。通过这个机制,可以在Doris侧做到At-Most-Once语义。如果结合上游系统的At-Least
集群创建:在CloudTable集群管理界面完成集群的创建。 集群查看:在CloudTable集群管理界面可以查看集群详情。 重启集群:因长时间不重启导致系统运行缓慢等情况下,用户需要重启集群。重启操作将有可能会导致正在运行中的业务数据丢失,如果需要执行重启操作,请确定不存在正在运行的业务,所有数据都已经保存。
开启、关闭 租户是否可以超量占用内存资源。 如果关闭内存软隔离,系统检测到租户内存使用超出限制后,将立即取消租户组内内存占用最大的若干个任务。 如果开启内存软隔离,若该系统有空闲内存资源时,则该租户在超出内存的限制后可继续使用系统内存;只有当集群资源紧张时,才取消租户组内内存占用最大的若干任务。
在网站、App和游戏中,对用户的点击、浏览时长等使用数据进行收集,导入到云数据仓库ClickHouse中,构建用户特征分析大宽表。利用云ClickHouse的优异查询性能,分析系统进行多维度、多模式分析时,可以在亚秒级内响应,快速分析出用户行为特征和规律,为精准营销和会员转化等业务提供有效支持。 企业经营分析。 在企
CREATE TABLE 此章节介绍如何创建表。 创建本地表 CREATE TABLE [IF NOT EXISTS] [database_name.]table_name [ON CLUSTER ClickHouse集群名] ( name1 [type1] [DEFAULT|MATERIALIZED|ALIAS
Stream load由于创建导入的协议使用的是HTTP协议,通过Basic access authentication进行签名。Doris系统会根据签名验证用户身份和导入权限。 导入任务参数 label 导入任务的标识。每个导入任务,都有一个在单database内部唯一的labe
算、网络、存储等资源划分成多个集群。一个Region中的多个AZ间通过高速光纤相连,以满足用户跨AZ构建高可用性系统的需求。 项目 区域默认对应一个项目,这个项目由系统预置,用来隔离物理区域间的资源(计算资源、存储资源和网络资源),以默认项目为单位进行授权,用户可以访问您账号中该
数据模型 Doris的数据模型主要分为3类: Aggregate模型。 Unique模型。 Duplicate。 Aggregate模型 以实际的例子来说明什么是聚合模型,以及如何正确的使用聚合模型。 示例1:导入数据聚合 假设业务有以下模式: 表1 参数说明 ColumnName
要构建标签索引,用户写入数据时将自动生成标签数据。同时,标签索引基于Lucene的语法,提供高效的多维标签查询接口。可应用于用户画像、推荐系统、人工智能、时空数据等场景。 CloudTable服务支持标签索引能力,您只需要创建CloudTable集群,就可以在弹性云服务器(ECS)上开发客户端应用进行多维标签查询。
认证要高。 Token认证 Token的有效期为24小时,需要使用一个Token鉴权时,可以先缓存起来,避免频繁调用。 Token在计算机系统中代表令牌(临时)的意思,拥有Token就代表拥有某种权限。Token认证就是在调用API的时候将Token加到请求消息头,从而通过身份认证,获得操作API的权限。
by '123456' DEFAULT ROLE 'default_role'; CREATE USER命令用于创建一个Doris用户(分配系统默认角色)。 CREATE USER 'jeo' IDENTIFIED BY 'password' DEFAULT ROLE 'default_role';
由于磁盘负载是计算垃圾文件,所以一次性删除过多的垃圾文件,容易造成磁盘不均。 问题现象 Doris的数据磁盘空间如果不加以控制,会因磁盘写满而导致进程不可写。控制Doris系统中的各项操作,尽量避免发生磁盘被写满的情况。 问题分析 频繁写入数据、删除过多垃圾文件,导致磁盘不均衡。 解决办法 尽量一次性写入数据,避免磁盘负载频繁变化。
当集群处于非均衡或不能正常工作时,可能需要通过重启集群进行恢复。 如果集群欠费,可能会导致该功能被限制不可用,请及时充值确保集群可正常使用。 对系统的影响 重启期间集群将无法提供服务。因此,在重启前,请确定集群中没有正在运行的任务,并且所有数据都已经保存。 如果集群正在处理业务数据,如
当集群处于非均衡或不能正常工作时,可能需要通过重启集群进行恢复。 如果集群欠费,可能会导致该功能被限制不可用,请及时充值确保集群可正常使用。 对系统的影响 重启期间集群将无法提供服务。因此,在重启前,请确定集群中没有正在运行的任务,并且所有数据都已经保存。 如果集群正在处理业务数据,如
编译并运行程序 操作场景 在程序代码完成开发后,您可以在Windows开发环境中运行应用。 操作步骤 未开启加密通道的HBase集群 在开发环境中(例如Eclipse中),右击“TestMain.java”,单击“Run as > Java Application”运行对应的应用程序工程。
Doris安全通道 您可以通过创建集群开启https,实现数据加密传输。此章节介绍如何开通Doris安全通道。 开启HTTPS步骤 登录表格存储服务管理控制台。 单击管理控制台左上角的,选择区域。 单击右上角的购买集群按钮,进入“购买集群”页面。 完成其他配置后,查看https按钮是否开启,默认开启。
立即重启集群的情况下,您也可以通过手动重启集群使配置生效。 如果集群欠费,可能会导致该功能被限制不可用,请及时充值确保集群可正常使用。 对系统的影响 重启期间集群将无法提供服务。因此,在重启前,请确定集群中没有正在运行的任务,并且所有数据都已经保存。 如果集群正在处理业务数据,如