检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
前提条件 运行环境已经正确配置,请参见准备Windows运行环境。 操作步骤 把样例工程上传到Windows开发环境中。样例工程的获取方法请参见下载样例工程。 在应用开发环境中,导入样例工程到Eclipse开发环境。 选择“File > Import > General > Existing
无论是异步还是同步的导入类型,都不应该在Doris返回导入失败或导入创建失败后,无休止的重试。外部系统在有限次数重试并失败后,保留失败信息,大部分多次重试均失败问题都是使用方法问题或数据本身问题。 父主题: 数据导入
如果云账号已经能满足您的要求,不需要创建独立的IAM用户,您可以跳过本章节,不影响您使用CloudTable服务的其它功能。 本章节为您介绍对用户授权的方法,操作流程如图1所示。 前提条件 CloudTable服务暂不支持细粒度策略,仅支持系统角色“cloudtable Administrat
集群无法连接怎么处理? 表1 无法连接问题总结 问题现象 检查原因 处理方法 集群无法连接 集群状态为创建失败、亚健康、冻结。 创建失败:删除创建失败的集群,重新创建新集群,创建成功后连接。 亚健康:联系技术工程师处理。 冻结:给账户充值确保账户余额不为0才能解冻。 说明: 违规
创建索引 场景介绍 对于未建立索引的用户表,该工具允许用户同时添加和构建索引。 使用方法 在HBase客户端执行以下命令即可添加或创建索引,执行命令后,指定的索引将被添加到表中并且将处于ACTIVE状态: hbase org.apache.hadoop.hbase.hindex.global
key相同时,新记录覆盖旧记录,可以保证主键唯一性约束。适用于有更新需求的分析业务。目前Unique key实现上和Aggregate key的 REPLACE聚合方法一样,二者本质上相同。但是无法利用ROLLUP等预聚合带来的查询优势(因为本质是REPLACE,没有SUM这种聚合方式)。 CREATE TABLE
使用DLI Flink作业实时同步MRS Kafka数据至CloudTable HBase集群 此章节为您介绍数据实时同步的最佳实践,通过数据湖探索服务DLI Flink作业将MRS kafka数据实时同步给HBase,实现Kafka实时入库到HBase的过程。 了解DLI请参见数据湖探索产品介绍。
使用DLI Flink作业实时同步MRS Kafka数据至CloudTable ClickHouse集群 此章节为您介绍数据实时同步的最佳实践,通过数据湖探索服务DLI Flink作业将MRS kafka任务制造数据实时同步给ClickHouse,实现Kafka实时入库到ClickHouse的过程。
/v2/{project_id}/clusters 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID。获取方法,请参见获取项目ID。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Language 是 String 语言类型。
查看审计日志 在开启了云审计服务后,系统开始记录CloudTable服务的操作日志。云审计服务管理控制台保存最近7天的操作记录。 本章节包含如下内容: 开启云审计服务 关闭审计日志 查看CloudTable的云审计日志 开启云审计服务 使用云审计服务前需要开启云审计服务,开启云审
/v2/{project_id}/clusters 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID。获取方法,请参见获取项目ID。 表2 Query参数 参数 是否必选 参数类型 描述 offset 否 Integer 偏移量,表示从此偏移量开始
登录MRS集群的Manager页面。 主页>Yarn>实例>ResoureManager>概览>配置文件>yarn-site.xml。 参数获取方法。 连接mrs集群,请参见使用mrs客户端章节。 进入client目录下,显示出MRS的全部组件,目前使用的组件有HDFS和Hive组件。
AWS_ENDPOINT obs地址,获取方式见请参见对象存储服务的获取终端节点章节。 AWS_REGION obs region,在obs页面查看。 参数获取方法。 连接mrs集群,请参见使用mrs客户端章节。 进入client目录下,显示出MRS的全部组件,目前使用的组件有HDFS和Hive组件。
数据类型 此章节描述ClickHouse的数据类型。 ClickHouse不支持JSON以及Object('json')数据类型。 数据类型表 表1 数据类型表 分类 关键字 数据类型 描述 整数类型 Int8 Int8 取值范围:【-128,127】 Int16 Int16 取值范围:【-32768,32767】
登录MRS集群的Manager页面。 主页>Yarn>实例>ResoureManager>概览>配置文件>yarn-site.xml。 参数获取方法。 连接mrs集群,请参见使用mrs客户端章节。 进入client目录下,显示出MRS的全部组件,目前使用的组件有HDFS和Hive组件。
pp.abnorm.ALL。 columns 待导入数据的函数变换配置,目前Stream load支持的函数变换方法包含列的顺序变化以及表达式变换,其中表达式变换的方法与查询语句的一致。 exec_mem_limit 导入内存限制。默认为2GB,单位为字节。 strict_mode
登录MRS集群的Manager页面。 主页>Yarn>实例>ResoureManager>概览>配置文件>yarn-site.xml。 参数获取方法。 连接mrs集群,请参见使用mrs客户端章节。 进入client目录下,显示出MRS的全部组件,目前使的组件有HDFS和Hive组件。 cd
p201703_all * 2017-04-01, 1000 --> 无法导入 * 2017-05-01, 1000 --> 无法导入 验证方法: 插入一条数据并检查存入到哪个分区。分区字段VisibleVersionTime、VisibleVersion刚刚有更新的分区即为刚插入数据所在的分区。
数据模型 Doris的数据模型主要分为3类: Aggregate模型。 Unique模型。 Duplicate。 Aggregate模型 以实际的例子来说明什么是聚合模型,以及如何正确的使用聚合模型。 示例1:导入数据聚合 假设业务有以下模式: 表1 参数说明 ColumnName