正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
key与fs.obs.secret.key的获取方式请参见对象存储服务的获取访问密钥(AK/SK)章节。 fs.obs.endpoint的获取方式见请参见对象存储服务的获取终端节点章节。 LOAD LABEL label_2023021801 ( DATA INFILE("obs://xxx/source_text2
享一个Connection。 典型的用法,一个客户端程序共享一个单独的Connection,每一个线程获取自己的Admin或Table实例,然后调用Admin对象或Table对象提供的操作接口。不建议缓存或者池化Table、Admin。Connection的生命周期由调用者维护,
创建Configuration 功能介绍 HBase通过加载配置文件来获取配置项。 加载配置文件是一个比较耗时的操作,如非必要,请尽量使用同一个Configuration对象。 样例代码未考虑多线程同步的问题,如有需要,请自行增加。其它样例代码也一样,不再一一进行说明。 代码样例
testCreateTable."); } 解释 (1)创建表描述符 (2)创建列族描述符 (3)添加列族描述符到表描述符中 (4)获取Admin对象,Admin提供了建表、创建列族、检查表是否存在、修改表结构和列族结构以及删除表等功能。 (5)调用Admin的建表方法。 注意事项
监控页面 单击“创建告警规则”,进入创建告警规则页面进行添加。 配置告警规则的“名称”和“描述”。 图2 名称配置 监控范围 图3 监控对象 表1 监控对象说明 参数名称 参数说明 取值样例 告警类型 默认实例/选中的集群 指标 资源类型 配置告警规则监控的云服务资源名称。 表格存储服务
testCreateTable."); } 代码编号解释 (1)创建表描述符。 (2)创建列族描述符。 (3)添加列族描述符到表描述符中。 (4)获取Admin对象,Admin提供了建表、创建列族、检查表是否存在、修改表结构和列族结构以及删除表等功能。 (5)调用Admin的建表方法。 注意事项
监控页面 单击“创建告警规则”,进入创建告警规则页面进行添加。 配置告警规则的“名称”和“描述”。 图2 名称配置 监控范围 图3 监控对象 表1 监控对象说明 参数名称 参数说明 取值样例 告警类型 默认实例/选中的集群 指标 资源类型 配置告警规则监控的云服务资源名称。 表格存储服务
监控页面 单击“创建告警规则”,进入创建告警规则页面进行添加。 配置告警规则的“名称”和“描述”。 图2 名称配置 监控范围 图3 监控对象 表1 监控对象说明 参数名称 参数说明 取值样例 告警类型 默认实例/选中的集群 指标 资源类型 配置告警规则监控的云服务资源名称。 表格存储服务
使用catalog连接kerberos安全认证hive on hdfs 使用catalog连接非安全认证hive on obs 使用catalog连接kerberos安全认证hive on obs 父主题: Doris连接管理
磁盘读速率 统计每秒从测量对象读出数据量 >= 0 Byte/s 1分钟 disk_throughput_read_rate 磁盘写速率 统计每秒写到测量对象的数据 >= 0 Byte/s 1分钟 cmdForTotalMemory 总内存大小 统计测量对象的总内存大小 > 0 Byte
减去写入时间大于TTL设置的值,则会在系统后台执行并调用OBS SDK数据写入OBS,随后将本地文件删除。 查询数据:用户在表上进行对应的查询时,Doris会根据对应Partition使用的Policy信息找到对应的OBS并行文件系统的相关路径,并根据不同Tablet下的Rows
3版本,可选:3.X。 用户名 MRS集群的用户名。 密码 MRS集群mrs_user_name对应的密码。 OBS支持 打开按钮,则支持OBS。关闭按钮则不支持OBS。 配置好参数后,单击测试。如果测试失败请检查用户名和密码是否正确。 测试完成后,单击确定按钮,连接设置页面会出现一条新的连接记录。
project_id 是 String 项目ID。获取方法,请参见获取项目ID。 cluster_id 是 String 集群ID。 获取方法:在CloudTable控制台,单击要查询的集群名称进入集群详情页,获取“集群ID"。请参见获取集群ID。 请求参数 表2 请求Header参数
冷热分离粒度是基于Part的,当达到容量上限或冷却时间时会将当前满足条件的Part全部上传到OBS并删除本地数据,之后新导入的数据生成的新Part达到容量上限或冷却时间后也会上传到OBS。 查询数据:用户在数据表上进行对应的查询,ClickHouse会根据对应表的存储策略信息查询
3版本,可选:3.X。 用户名 MRS集群的用户名。 密码 MRS集群mrs_user_name对应的密码。 OBS支持 打开按钮,则支持OBS。关闭按钮则不支持OBS。 配置好参数后,单击测试。如果测试失败请检查用户名和密码是否正确。 测试完成后,单击确定按钮,连接设置页面会出现一条新的连接记录。
oject的ID,获取方法请参见获取项目ID。 scope参数定义了Token的作用域,上面示例中获取的Token仅能访问project下的资源。您还可以设置Token的作用域为某个账号下所有资源或账号的某个project下的资源,详细定义请参见IAM服务的获取用户Token。 POST
使用SSH登录工具(如PuTTY)通过“弹性IP”远程登录到Linux弹性云服务器,然后执行如下命令,获取客户端一键部署工具: curl -O -k "https://cloudtable-publish.obs.myhuaweicloud.com/cloudtable-client/quick_start_hbase_shell
支持的数据格式 不同的导入方式支持的数据格式不同。 表1 导入方式说明 导入方式 支持格式 Broker Load parquet、orc、obs Stream Load csv、json、parquet、orc 导入说明 Doris的数据导入实现有以下共性特征,这里分别介绍,以帮助大家更好的使用数据导入功能。
project_id 是 String 项目ID。获取方法,请参见获取项目ID。 cluster_id 是 String 集群ID。 获取方法:在CloudTable控制台,单击要查询的集群名称进入集群详情页,获取“集群ID"。请参见获取集群ID。 请求参数 表2 请求Header参数
删除数据迁移策略前,请检查关联该策略的所有表是否都已经删除,否则删除数据迁移策略会失败。 删除含数据迁移策略的数据表后,为了保证数据的安全,冷数据在obs桶最多保留时间25小时,且数据保留期间会计费。 父主题: Doris冷热分离应用