检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
一个表数据变化快,需要较短时间的过期时间,而另一个表数据变化较慢,需要较长时间的过期时间。目前Flink只有表级别的TTL(Time To Live:生存时间),为了保证Join的准确性,需要将表级别的TTL设置为较长时间的过期时间,此时状态后端中保存了大量的已经过期的数据,给状
如果用户已按照1到4配置了SMS4或AES加密,但是在执行5创建表时,未设置对应的加密参数,使得插入的数据未经加密。 此时,您可以执行如下步骤对之前插入的数据进行加密。 针对表执行flush操作,将内存中的数据导入到HFile中。 flush'<table_name>' 执行以下步骤修改表属性:
产生告警的服务名称。 RoleName 产生告警的角色名称。 HostName 产生告警的主机名。 对系统的影响 ommdba用户或密码过期,OMS数据库无法管理,数据不能访问。 可能原因 系统ommdba用户或密码即将过期。 处理步骤 检查系统中ommdba用户和密码是否正常。 登录故障节点。
创建一个与导入目标表同样数据结构的表,将所有数据先存放在该表中,然后由该表通过一次事务将结果写入到目标表中。 该参数是用来保证在数据导入关系数据库表的过程中的事务安全性,因为在导入的过程中可能会有多个事务,那么一个事务失败会影响到其它事务,比如导入的数据会出现错误或出现重复的记录
配置MRS集群审计日志转储 Manager的审计日志默认保存在数据库中,如果长期保留可能引起数据目录的磁盘空间不足问题,管理员如果需要将审计日志保存到其他归档服务器,可以在FusionInsight Manager设置转储参数及时自动转储,便于管理审计日志信息。 若用户未配置审计
3.1及之后版本。 告警解释 Clickhouse中元数据信息会存储在Zookeeper上,因此会占用Znode,但是在业务无大的变动的场景下,Znode占用数出现持续陡增,两小时增长量超过设定的阈值,则上报告警。对于大量导数据或者迁业务场景下,可以忽略此次告警的上报。 当系统检测到两小时增长量低于阈值时,告警恢复。
MRS服务是否支持安全删除的能力? 问: MRS服务是否支持安全删除(删除后防止非法恢复)的能力? 答: MRS集群目前仅支持恢复用户备份的数据,即MRS服务的删除都是安全删除。 父主题: 周边生态对接类
查询集群节点列表 功能介绍 查询集群节点列表。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/clusters/{cluster_id}/nodes 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 参数解释:
uselocalFileCollect 是否将结果数据保存在本地磁盘中而不是内存里面。 优点:结果数据小数据量情况下和原生内存的方式相比性能损失可以忽略,大数据情况下(亿级数据)性能远比使用hdfs,以及原生内存方式好。 缺点:需要调优。大数据情况下建议JDBCServer driver
查看Flink应用运行结果 Flink应用程序运行完成后,您可以查看运行结果数据,也可以通过Flink WebUI查看应用程序运行情况。 操作步骤 查看Flink应用运行结果数据。 当用户查看执行结果时,需要在Flink的web页面上查看Task Manager的Stdout日志。
WHERE column3 = 'value' ) ) 基于Hudi表的lookup join单表数据量不超过1GB Hudi维度表都在TM heap中,当维表过大时heap中保存的维表数据过多,TM会不断GC导致作业性能下降。 流流关联中不能加入批Source算子 流流关联中不能加
角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 无法使用Hue原生界面,用户无法通过Hue页面对MRS大数据组件进行交互分析和数据处理。 可能原因 Hue服务所依赖内部服务KrbServer故障。 Hue服务所依赖内部服务DBService故障。 与DBService连接的网络异常。
默认取值: 不涉及 data_volume_type String 参数解释: 数据盘类型。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 data_volume_size Integer 参数解释: 数据盘容量。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 data_volume_count
删除指定集群的标签 功能介绍 删除特定集群的标签。 接口约束 无 调用方法 请参见如何调用API。 URI DELETE /v1.1/{project_id}/clusters/{cluster_id}/tags/{key} 表1 路径参数 参数 是否必选 参数类型 描述 cluster_id
前提条件 在各个数据节点准备并安装好新磁盘,并格式化磁盘。 已安装好Kafka客户端。 更改Broker单个实例的存储目录时,保持活动的Broker实例数必须大于创建主题时指定的备份数。 操作步骤 更改Kafka角色的存储目录 以root用户登录到安装Kafka服务的各个数据节点中,执行如下操作。
前提条件 在各个数据节点准备并安装好新磁盘,并格式化磁盘。 已安装好Kafka客户端。 更改Broker单个实例的存储目录时,保持活动的Broker实例数必须大于创建主题时指定的备份数。 操作步骤 更改Kafka角色的存储目录 以root用户登录到安装Kafka服务的各个数据节点中,执行如下操作。
服务配置”,单击“基础配置”下拉菜单,选择“全部配置”。 若集群详情页面没有“组件管理”页签,请先完成IAM用户同步(在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步)。 MRS 3.x及后续版本,登录FusionInsight Manager,具体请参见访问FusionInsight
查询作业列表信息 功能介绍 在MRS指定集群中查询作业管理里提交的作业列表信息。 接口约束 无 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/clusters/{cluster_id}/job-executions 表1 路径参数 参数 是否必选
ormal-examples.SparkOnHudiPythonExample.hudi_python_write_example。 插入数据: #insert inserts = sc._jvm.org.apache.hudi.QuickstartUtils.convertToStringList(dataGen
INSERT INTO 本章节主要介绍Doris插入表数据的SQL基本语法和使用说明。 基本语法 INSERT INTO table_name [ PARTITION (p1, ...) ] [ WITH LABEL label] [ (column [, ...]) ] [ [