检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
hiveobs 数据冗余存储策略 多AZ存储:数据冗余存储至多个可用区(AZ),可靠性更高。 单AZ存储:数据仅存储在单个可用区(AZ),成本更低。 单AZ存储 策略 并行文件系统的读写策略。 私有 归档数据直读 通过归档数据直读,您可以直接下载存储类别为归档存储的文件,而无需提前恢复。
用add jar方式创建function,执行drop function时出现问题 问题 问题一: 用户没有drop function的权限,能够drop成功。具体场景如下: 在FusionInsight Manager页面上添加user1用户,给予用户admin权限,执行下列操作:
male,50 CaiXuyu,female,50 FangBo,female,60 数据规划 Spark Streaming样例工程的数据存储在Kafka组件中(需要有Kafka权限用户)。 本地新建两个文本文件input_data1.txt和input_data2.txt,将log1
GuoYijun,male,50 CaiXuyu,female,50 FangBo,female,60 数据规划 DataStream样例工程的数据存储在文本中。 将log1.txt和log2.txt放置在指定路径下,例如"/opt/log1.txt"和"/opt/log2.txt"。 数
part过多,merge压力变大,甚至出现异常影响数据插入; 数据的一致性问题:数据先在分布式表写入节点的主机落盘,然后数据被异步地发送到本地表所在主机进行存储,中间没有一致性的校验,如果分布式表写入数据的主机出现异常,会存在数据丢失风险; 对于数据写分布式表和数据写本地表相比,分布式表数据写入性
DROP COLUMN不支持rctext、rcbinary、rcfile格式存储的表。由于connector对不同文件格式的列访问模式不同,drop column后可能会出现查询失败的情况,例如: 对于orc格式存储的非分区表 ,drop column后如果查询失败,需要设置Session属性:
用add jar方式创建function,执行drop function时出现问题 问题 问题一: 用户没有drop function的权限,能够drop成功。具体场景如下: 在FusionInsight Manager页面上添加user1用户,给予用户admin权限,执行下列操作:
GuoYijun,male,50 CaiXuyu,female,50 FangBo,female,60 数据规划 DataStream样例工程的数据存储在文本中。 将log1.txt和log2.txt放置在指定路径下,例如"/opt/log1.txt"和"/opt/log2.txt"。 数
GuoYijun,male,50 CaiXuyu,female,50 FangBo,female,60 数据规划 DataStream样例工程的数据存储在文本中。 将log1.txt和log2.txt放置在指定路径下,例如"/opt/log1.txt"和"/opt/log2.txt"。 数
GuoYijun,male,50 CaiXuyu,female,50 FangBo,female,60 数据规划 DataStream样例工程的数据存储在文本中。 将log1.txt和log2.txt放置在指定路径下,例如"/opt/log1.txt"和"/opt/log2.txt"。 数
IoTDB日志介绍 日志描述 日志路径:IoTDB相关日志的默认存储路径为“/var/log/Bigdata/iotdb/iotdbserver”(运行日志)、“/var/log/Bigdata/audit/iotdb/iotdbserver”(审计日志)。 日志归档规则:IoT
property_value)] AS query 限制 仅Hive数据源的Catalog支持视图的列描述。 在HetuEngine中创建的视图,视图的定义以编码方式存储在数据源里。在数据源可以查询到该视图,但无法对该视图执行操作。 视图是只读的,不可对它执行LOAD、INSERT操作。 视图可以包含ORDER
),如图1所示。使用IoTDB存储并管理这些数据的业务操作流程为: 创建存储组“root.集团名称”以表示该集团。 创建时间序列,用于存储具体设备传感器对应的指标数据。 模拟传感器,录入指标数据。 使用SQL查询指标数据信息。 业务结束后,删除存储的数据。 图1 数据结构 操作步骤
HBase Phoenix API接口介绍 版本关系 若使用Phoenix,需下载与当前使用MRS集群相对应的Phoenix版本,具体请参见http://phoenix.apache.org。其对应关系如表1所示: 表1 MRS与Phoenix版本对应关系一览表 MRS版本 Phoenix版本
进行冷热存储。 图1 冷热存储原理图 表1 模块说明 参数 描述 Volume 卷,有序的磁盘的集合。 Storage Policy 存储策略,卷的集合以及卷之间数据移动的规则。 创建OBS并行文件系统 登录云服务管理控制台。 选择“存储 > 对象存储服务”,进入对象存储服务界面。
安装补丁 安装补丁 登录MRS管理控制台。 选择“现有集群”,选中需要安装补丁的集群并单击集群名,进入集群基本信息页面。 进入“补丁管理”页面,在操作列表中单击“安装”。 进入“警告”页面,阅读补丁说明,并单击“确定”。 图1 安装补丁 请确保集群允许root登录,并且所有节点的root密码一致。
stState替换ValueState存储容器 RocksDB场景下,由于RocksDB是一个内嵌式的KV数据库,它的数据都是根据key和value进行存放的。对于map类数据,若使用ValueState,在RocksDB中作为一条记录存储,value是整个map,而使用MapS
回滚补丁 卸载补丁 登录华为云管理控制台界面,在“现有集群”列表中单击需要卸载补丁的集群名称,单击“补丁管理”页签,找到需要卸载的补丁,单击“卸载”,等待补丁卸载成功后,需要按照该章节顺序依次执行相关操作。 当“状态”显示为“卸载失败”时,在“失败任务”中查看错误提示信息,查找相应日志来定位处理。
在建表设计时指定主键字段的建议:按查询时最常使用且过滤性最高的字段作为主键。依次按照访问频度从高到低、维度基数从小到大来排列。数据是按照主键排序存储的,查询的时候,通过主键可以快速筛选数据,合理的主键设计,能够大大减少读取的数据量,提升查询性能。例如所有的分析,都需要指定业务的id,则
编译并运行Flink应用 在程序代码完成开发后,建议您上传至Linux客户端环境中运行应用。使用Scala或Java语言开发的应用程序在Flink客户端的运行步骤是一样的。 基于YARN集群的Flink应用程序不支持在Windows环境下运行,只支持在Linux环境下运行。 操作步骤