检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
据。 用户可以定义冷热管理表,将符合规则的冷数据切换至OBS上进行存储,可以按照分区自动进行冷热数据的判断和迁移。 原理介绍 创建表:创建含有冷热分离策略的数据表,其中存储策略值必须为hot_to_cold。 写数据:新数据会按照信息导入到对应的数据表中。在ClickHouse中
engine_name() 表引擎类型。 [POPULATE] POPULATE关键字。如果创建物化视图时指定了POPULATE关键字,则在创建时将SELECT子句所指定的源表数据插入到物化视图中。不指定POPULATE关键字时,物化视图只会包含在物化视图创建后新写入源表的数据。 说明:
database:数据库名。 password:创建集群时,创建的密码。 select * from:后面跟数据表。 ./parquet_no_ssl.parquet:代表parquet格式文件导出路径,路径自定义。 config-file ./config.xml:指定配置文件,
回到作业管理界面,单击操作列的“启动”。作业状态为“运行中”表示作业运行成功。 步骤三:创建DLI Flink任务进行数据同步 创建弹性资源和队列,请参见“创建弹性资源池并添加队列”章节。 创建跨源连接,请参见创建增强型跨源连接。 分别测试DLI与上游MRS Kafka和下游CloudTable HBase的连通性。
cold data 查询插入的数据。 查询数据。 select * from test_table FORMAT CSV; 查询数据表分区存储的分区字段名、分区和存储路径。 SELECT name,partition,active,path FROM system.parts WHERE
连通CloudTable集群和线下数据中心 ClickHouse/Doris 云专线(DC):DC用于搭建线下数据中心和云上VPC之间高速、低时延、稳定安全的专属连接通道,通过DC可以构建大规模混合云组网。更多信息请参见什么是云专线章节。 虚拟专用网络(VPN):VPN用于在线下数据中心和云上VPC
native_dataSource_ip_list=ip:9000,ip:9000 表1 配置说明表 配置名称 默认值 含义 iPList - 必填参数,配置为clickhouse节点的集群访问地址列表。 登录cloudtable控制台,单击集群名称,进入集群详情页,拿到集群访问地址。
affected (0.00 sec) 使用数据库。 mysql> USE demo Database changed 创建数据表。 假定这是一张记录用户访问某商品页面行为的表信息,使用MySQL客户端实现业务操作。 CREATE TABLE IF NOT EXISTS demo.example_tbl
load导入结果参数如下表。 表3 参数说明 参数 说明 TxnId 导入的事务ID。用户可不感知。 Label 导入Label。由用户指定或系统自动生成。 Status 导入完成状态。 Success:表示导入成功。 Publish Timeout:该状态也表示导入已经完成,只是数据可能会延迟可见,无需重试。
进入“规格详情”页面,确认集群规格订单信息,单击“提交”,成功提交集群创建任务,集群创建成功后,进入详情页面查看通道开启状态。 打开安全和非安全通道步骤 登录表格存储服务管理控制台。 单击管理控制台左上角的,选择区域。 单击右上角的购买集群按钮,进入“购买集群”页面。 配置好参数,单击“立即购买”。
source表。 load data inpath '/tmp/source_text.txt' into table ods_source; 示例1,Parquet格式表导入。 在hive中创建parquet分区表并写入数据。 创建ods_demo_detail表。 CREATE
如果客户端工具的运行环境为Linux环境,您需要准备一台和CloudTable集群在相同虚拟私有云的Linux弹性云服务器作为客户端主机。例如,使用以下客户端工具访问集群,建议使用Linux弹性云服务器:HBase shell。 如果客户端工具的运行环境为Windows环境,您需要准备一台和CloudTable集
catalog 通过连接Hive Metastore,或者兼容Hive Metastore的元数据服务,Doris可以自动获取Hive的库表信息,并进行数据查询。 除了Hive外,很多其他系统也会使用Hive Metastore存储元数据。所以通过Hive Catalog,我们不仅能访问Hive,也能访问使用Hive
回到作业管理界面,单击操作列的“启动”。作业状态为“运行中”表示作业运行成功。 步骤三:创建DLI Flink作业进行数据同步 创建弹性资源和队列,请参见“创建弹性资源池并添加队列”章节。 创建跨源连接,请参见创建增强型跨源连接。 分别测试DLI与上游MRS Kafka和下游CloudTable HBase的连通性。
准备Linux弹性云服务器,具体操作请见准备弹性云服务章节。 下载客户端,登录表格存储服务管理控制台,在左侧导航树单击“帮助”,然后在页面右侧单击“客户端下载”和“客户端校验文件”,下载客户端安装包和客户端校验文件。 安装客户端,连接集群。 使用SSH登录工具,通过弹性IP远程登录到Linux弹性云服务器。
使用catalog连接非安全认证hive on hdfs 通过CloudTable集群管理面创建MRS Hive连接。 创建MRS Hive连接步骤 登录表格存储服务管理控制台。 用户在CloudTable集群管理界面,选择需要操作的集群进入集群详情页面。 单击tab页中的“连接设置”,弹出连接页面。
目前CloudTable Doris暂不支持使用Catalog对接数据存储在并行文件系统的OBS MRS Hive集群 。 创建MRS Hive连接步骤 登录表格存储服务管理控制台。 用户在CloudTable集群管理界面,选择需要操作的集群进入集群详情页面。 单击tab页中的“连接设置”,弹出连接页面。
使用catalog连接kerberos安全认证hive on hdfs 登录表格存储服务管理控制台。 用户在CloudTable集群管理界面,选择需要操作的集群进入集群详情页面。 单击tab页中的“连接设置”,弹出连接页面。 单击左上角“新建连接”创建MRS Hive连接。 新建连接类型:安全认证hive
目前CloudTable Doris暂不支持使用Catalog对接数据存储在并行文件系统的OBS MRS Hive集群 。 创建MRS Hive连接步骤 登录表格存储服务管理控制台。 用户在CloudTable集群管理界面,选择需要操作的集群进入集群详情页面。 单击tab页中的“连接设置”,弹出连接页面。