检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
准备运行环境 准备Windows运行环境 父主题: 准备开发环境
在Windows中调测程序 编译并运行程序 查看调测结果 父主题: 调测程序
由于磁盘负载是计算垃圾文件,所以一次性删除过多的垃圾文件,容易造成磁盘不均。 问题现象 Doris的数据磁盘空间如果不加以控制,会因磁盘写满而导致进程不可写。控制Doris系统中的各项操作,尽量避免发生磁盘被写满的情况。 问题分析 频繁写入数据、删除过多垃圾文件,导致磁盘不均衡。 解决办法
如下示例中通过on cluster语句在集群的所有Server节点创建数据库。 其中数据库名定义在clickhouse-example.properties文件的databaseName字段。 样例代码 private void createDatabase(String databaseName
hive元数据uri,可在hive-site.xml配置文件查看。 hive.metastore.sasl.enabled 可在hive-site.xml配置文件查看。 hive.server2.thrift.sasl.qop 可在hive-site.xml配置文件查看。 hive.server2.authentication
xml配置文件,Hive组件中包含了hive-site.xml配置。 进入组件中的配置文件查看参数。 HDFS组件查看。 cd ./HDFS/hadoop/etc/ 进入hadoop目录。 cd hadoop/hdfs-site.xml 打开hdfs-site.xml配置文件,查找相关参数。
password:创建集群时,创建的密码。 INSERT INTO:后面跟数据表。 cat文件路径:文件存放的路径,路径自定义。 config-file ./config.xml:指定配置文件,请参见ClickHouse安全通道章节。 CSV格式数据导出。 非安全集群 ./clickhouse
按需计费CloudTable集群生命周期 华为云根据客户等级定义了不同客户的宽限期和保留期时长。宽限期和保留期的详细说明请参见宽限期保留期。 避免和处理欠费 及时清理不再使用资源、设置费用预警可以有效避免欠费。 欠费后需要及时充值,详细操作请参见账户充值。 如果集群不再使用,您可以将他们删除,以免继续扣费。
数据分布 数据分片 Doris表按两层结构进行数据划分,分别是分区和分桶。 每个分桶文件就是一个数据分片(Tablet),Tablet是数据划分的最小逻辑单元。每个Tablet包含若干数据行。各个Tablet之间的数据没有交集,并且在物理上是独立存储的。 一个Tablet只属于一
服务中的数据将删除、云服务资源将被释放。 宽限期是指客户的包年/包月资源到期未续订或按需资源欠费时,华为云提供给客户进行续费与充值的时间,宽限期内客户可正常访问及使用云服务。华为云将会通过邮件、短信等方式向您发送提醒,提醒您续费或充值。 保留期是指宽限期满后客户的包年/包月资源仍
余额不足会导致欠费,您可以在“续费管理”页面续费。如果您未能续费,华为云不会立即停止您的业务,订单转入宽限期,宽限期过后用户还是未能及时续费,那么资源会进入保留期,此时集群将终止服务,数据仍然保留。 了解更多关于续费的信息,请参见续费概述。 费用账单 您可以在管理控制台页面上方“费用
clickHouseDataSource.getConnection(user, password); 认证用的密码直接写到代码中有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。 父主题: 样例代码说明
查看并获取当前目录的所有jar文件。 将“clickhouse-examples\out\artifacts\clickhouse_examples.jar”目录下的所有jar文件和“clickhouse-examples”目录下的“conf”文件夹拷贝到ECS的同一目录下。 登
运行程序的机器上没有配置CloudTable HBase实例节点的内网域名和ip映射,导致无法识别hmaster节点的内网域名,链接异常。 处理方法 在运行程序机器的host文件中,配置CloudTable HBase的内网域名和ip映射。修改步骤请参见准备弹性云服务器章节。 父主题: 数据读写类
在根目录中新建一个文件夹。 mkdir 文件夹名 进入新建的目录中。 cd /文件夹名/ 将客户端放在新建的目录下。 解压客户端。 tar -zxf 客户端包名 解压“客户端校验文件”,与客户端解压在同一个目录下。 解压“客户端校验文件”。 cd <客户端校验文件存放路径> tar
创建表:CloudTable Doris通过文件系统在本地数据目录创建目录。 写数据:调用文件系统相关功能,生成文件到本地数据目录下。 合并数据:定期读取数据文件rowset,判断数据时间戳和时间线。如果当前时间减去写入时间小于TTL设置的值,则文件不移动。如果当前时间减去写入时间大于T
Shell。在后续使用过程中,您也可以执行“bin/hbase shell”命令启动Shell访问集群。 手动安装客户端 准备Linux弹性云服务器。 具体操作请参见准备弹性云服务器章节中的以下内容: 准备弹性云服务器 为Linux弹性云服务器配置DNS地址和hosts文件 下载客户端和客户端校验文件。 登
无法使用公网访问HBase。您需要准备一台和HBase集群在相同VPC上的弹性云服务器才能正确访问到HBase。 请确认您的弹性云服务器上“/etc/resolv.conf”文件中配置了正确的nameserver,具体配置方法请参见《表格存储服务用户指南》中的准备弹性云服务器。 父主题: 连接访问类
hive_catalog.DB.test_table; 元数据缓存设置 创建Catalog时可以采用参数file.meta.cache.ttl-second来设置Hive分区文件缓存自动失效时间,也可以将该值设置为0来禁用分区文件缓存,时间单位为:秒。示例如下: CREATE CATALOG hive_catalog
、半结构化的KeyValue数据均可以存储和查询。 优势: 海量存储 支持离线、在线海量KeyValue数据存储,存储容量可扩展。 高性能读写 亿级写入吞吐量、ms级查询,用于在线应用和报表展现。 生态丰富 基于Hadoop生态组件丰富,与华为云产品有高度的整合能力。 画像数据存储和查询