检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
hoodie.run.compact.only.inline=true; 更多compaction参数请参考compaction&cleaning配置章节。 为了保证入湖的最高效率,推荐使用同步产生compaction调度计划,异步执行compaction调度计划的方式。 父主题: 数据管理维护
在“Producer Message”栏可根据业务需求选择“Day”、“Week”、“Month”不同时段查看此Topic生产数据条数。 修改Topic配置。 在待修改项的“Operation”列单击“Action > Config”,弹出的页面中可修改Topic的“Key”和“Value”值
────┴────┘ Upsert支持事务 与其他SQL语法类型一样,upsert语法也支持显式和隐式事务,使用事务前需要进行相应的事务功能开启配置。 注意事项 MergeTree和ReplicatedMergeTree建表要指定primary key或order by字段作为去重唯一键。如果未指定主键,只指定了order
订单支付成功后,集群开始进行转包周期流程,待集群转包周期成功后,集群状态更新为“运行中”。 转包周期后集群原有Task节点计费类型保持按需计费,集群在转包周期过程中已配置的弹性伸缩规则不触发新任务,请选择恰当的时间进行该操作。 父主题: 变更计费模式
7日凌晨3:00首次尝试自动续费,如果扣款失败,每天凌晨3:00尝试一次,直至MRS集群到期或者续费成功。到期前7日自动续费扣款是系统默认配置,您也可以根据需要修改此扣款日。 父主题: 续费
已执行打包Strom样例工程应用。 调整IntelliJ IDEA客户端机器时间,和Storm集群时间差不超过5分钟。 确保本地的hosts文件中配置了远程集群所有主机的主机名和业务IP映射关系。 操作步骤 修改WordCountTopology.java类,使用remoteSubmit
自动开启DEBUG日志,在环境中由于选择副本失败,导致一直启动Debug日志,不停地修改log4j,修改组件的log4j后进程会自动加载该配置文件,此时就会有新的线程自动产生,长时间后就会触发该告警。 出现这种情况时,将内置机制关闭,禁止自动修改日志级别即可恢复。 解决办法 分别
登录KafkaManager的WebUI界面。 在对应集群的“Operations”列单击“Modify”。 图2 更新集群参数 进入集群配置参数页面,修改集群参数。 删除KafkaManager的WebUI界面的集群 登录KafkaManager的WebUI界面。 在对应集群的
hoodie.run.compact.only.inline=true; 更多compaction参数请参考compaction&cleaning配置章节。 为了保证入湖的最高效率,推荐使用同步产生compaction调度计划,异步执行compaction调度计划的方式。 父主题: 数据管理维护
Hive定时查看默认数据仓库的状态,发现Hive默认数据仓库被删除。 处理步骤 检查Hive默认数据仓库。 以root用户登录客户端所在节点,用户密码为安装前用户自定义,请咨询系统管理员。 执行以下命令,检查“hdfs://hacluster/user/{用户名}/.Trash/Current/
超过10亿的表索引粒度可设为16384,其他设为8192或者更小值。 二级跳数索引设计 跳数索引使用参考: 使用说明 对于*MergeTree引擎,支持配置跳数索引,即一种数据局部聚合的粗糙索引,对数据块创建索引,选择性的保留一部分原始数据(minmax、set), 或者是保留计算后的中间数据
当执行结果输出到文件或者其他由Flink应用程序指定途径,您可以通过指定文件或其他途径获取到运行结果数据。以下用Checkpoint、Pipeline和配置表与流JOIN为例: 查看Checkpoint结果和文件 结果在flink的“taskmanager.out”文件中,用户可以通过Flink的WebUI查看“task
JOIN employees_contact b ON (a.id = b.id) WHERE b.email like '%cn'; 扩展使用 配置Hive中间过程的数据加密 指定表的格式为RCFile(推荐使用)或SequenceFile,加密算法为ARC4Codec。Sequenc
运行失败。 可能原因 内存配置无法满足业务需求。内存使用率达到上限。 处理步骤 对系统进行扩容。 打开FusionInsight Manager页面,在告警列表中,单击此告警所在行的,查看该告警的主机地址。 以root用户登录告警所在主机,用户密码为安装前用户自定义,请咨询系统管理员。
在HDFS上建立一个文件夹“/tmp/input”,并上传input_data1.txt,input_data2.txt到此目录,命令如下: 登录HDFS客户端。 cd 客户端安装目录 source bigdata_env kinit 组件业务用户 在Linux系统HDFS客户端使用命令hdfs dfs -mkdir
在HDFS上建立一个文件夹“/tmp/input”,并上传input_data1.txt,input_data2.txt到此目录,命令如下: 登录HDFS客户端。 cd 客户端安装目录 source bigdata_env kinit 组件业务用户 在Linux系统HDFS客户端使用命令hdfs dfs -mkdir
在HDFS上建立一个文件夹“/tmp/input”,并上传input_data1.txt,input_data2.txt到此目录,命令如下: 登录HDFS客户端。 cd 客户端安装目录 source bigdata_env 在Linux系统HDFS客户端使用命令hdfs dfs -mkdir /tmp/input 在
Manager页面,在告警列表中,单击此告警所在行的,查看该告警的DBService备服务器地址。 以root用户登录主DBService服务器,用户密码为安装前用户自定义,请咨询系统管理员。 执行ping 备DBService心跳IP地址命令检查备DBService服务器是否可达。 是,执行6。
Manager页面,在告警列表中,单击此告警所在行的,查看该告警的主机地址和告警的磁盘名称DiskName。 以root用户登录告警所在主机,用户密码为安装前用户自定义,请咨询系统管理员。 执行命令df -h |grep DiskName,获取对应的挂载点,查看挂载目录的权限,是否存在不可写或者不可读。
以此达到对并行文件系统进行分类的目的。 - 下载并安装MRS集群客户端,例如在主Master节点上安装,客户端安装目录为“/opt/client”,相关操作可参考安装客户端。 也可直接使用Master节点中自带的集群客户端,安装目录为“/opt/Bigdata/client”。