检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
启等场景。通过设置合理precombine字段值可以保证数据的准确性，老数据不会覆盖新数据，也就是幂等写入能力。该字段可用选择的类型包括：业务表中更新时间戳、数据库的提交时间戳等。precombine字段不能有null值和空值，可以参考以下示例设置precombine字段： SparkSQL:
FE实例IP地址，可以通过登录FusionInsight Manager，选择“集群 > 服务 > Doris > 实例”，查看任一FE的业务IP地址。 执行以下命令查看异常Tablet详情： show tablets from dbName.tableName; 查看返回结果中
作业，已提交的作业不受影响。Yarn组件以及依赖Yarn的组件会出现短暂的服务不可用告警。 重启备ResourceManager实例，服务业务不受影响。 是，处理完毕。 否，执行13。 检查实例状态。 选择处于非“良好”状态的NodeManager实例并重启该实例。检查该告警是否恢复。
源表大小（3副本） * 源表解压膨胀率 * HBase数据膨胀率（可估计为10）/ 单个Region上限（通常为10GB）/ 压缩及编码压缩率 请根据实际业务需求进行评估，例如，源表采用ORC格式存储，占用空间100GB，源表解压膨胀率可估计为5，目标表采样SNAPPY压缩以及FAST_DIFF
在首页中单击“PRESTO”区域的“HetuEngine”。 在“Access”页签单击“Add New Policy”，添加HetuEngine权限控制策略。 根据业务需求配置相关参数。 “授予访问表所在的Catalog策略”为基础策略，配置其他策略前必须先确保配置了此策略，可参考表2进行配置。 表1 HetuEngine权限参数
PREWHERE只支持*MergeTree系列的表。系统配置optimize_move_to_prewhere默认开启，将WHERE转成PREWHERE，可以根据自己的业务场景调整这个配置。 查询语句中同时有PREWHERE和WHERE，在这种情况下，PREWHERE先于WHERE执行。 合理配置最大并发数。
/var/log/Bigdata/clickhouse/clickhouseServer/clickhouse_migrate_data.log ClickHouse业务数据搬迁日志。 /var/log/Bigdata/clickhouse/clickhouseServer/changePassword.log
产生告警的角色名称。 主机名 产生告警的主机名。 Trigger condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 系统执行业务能力过低，无法正常响应客户请求，对Hive服务无影响，需要检查HiveServer日志排查SQL失败原因。 可能原因 HQL命令语法错误。
separator + "conf" + File.separator + "krb5.conf"; ... 本样例工程中，基于业务场景的开发思路如下，各功能代码片段详情说明可参考开发HDFS应用。 以“/user/hdfs-examples/test.txt”文件的读
Presto Presto是一个开源的用户交互式分析查询的SQL查询引擎，用于针对各种大小的数据源进行交互式分析查询。其主要应用于海量结构化数据/半结构化数据分析、海量多维数据聚合/报表、ETL、Ad-Hoc查询等场景。 Presto允许查询的数据源包括Hadoop分布式文件系统
HBase不支持条件查询和Orderby等查询方法，存储按照字典排序，读取只支持Rowkey扫描 设计时应避免HBase随机查找、排序的应用场景。 业务表设计建议 预分Region，使Region分布均匀，提高并发 避免过多的热点Region。根据应用场景，可考虑将时间因素引入Rowkey。
以客户端安装用户登录安装了Flink客户端的节点，执行以下命令： cd 客户端安装目录 source bigdata_env kinit 组件业务用户（如果集群未启用Kerberos认证（普通模式），请跳过该操作） 执行以下命令登录Flink SQL客户端： cd Flink/flink/bin/
获取每天的监控数据，通过OpenTSDB的put接口将两个组数据点写入数据库中。 对已有的数据使用OpenTSDB的query接口进行数据查询和分析。 功能分解 根据上述的业务场景进行功能开发，需要开发的功能如表4所示。 表4 在OpenTSDB中开发的功能 序号 步骤 代码实现 1 根据典型场景说明建立了数据模型
properties submit_user 提交任务的用户 developuser oozie_url_default https://Oozie业务IP:21003/oozie/ https://10.10.10.233:21003/oozie/ src\main\resources\job
afka Topic上可能无法写入数据。 可能原因 Topic副本数配置过多。 生产者消息批量写入磁盘的参数设置不合理。该Topic承担的业务流量过大，当前Partition的设置不合理。 处理步骤 检查Topic副本数配置。 在FusionInsight Manager首页，选择“运维
detect.datapart.bk.log.logs} KAFKA_HEAP_OPTS Kafka启动Broker时使用的jvm选项。建议根据业务需要进行设置。 -Xmx6G -Xms6G auto.create.topics.enable 是否自动创建Topic，如果参数设置为fa
Iceberg Iceberg原理介绍 Iceberg是一种开放的数据湖表格式，可以基于Iceberg快速地在HDFS或OBS上构建自己的数据湖存储服务。 Iceberg当前为公测阶段，若需使用需联系技术支持申请白名单开通。 当前版本Iceberg仅支持Spark引擎，如需使用其他引擎构建数据湖服务，请使用Hudi。
集群已启用Kerberos认证（安全模式）创建HetuEngine管理员用户，集群未启用Kerberos认证（普通模式）创建HetuEngine业务用户，并为其赋予HDFS管理员权限，即创建用户时需同时加入“hadoop”和“hadoopmanager”用户组，创建用户可参考创建HetuEngine权限角色。
51。 为了兼容性，此处支持配置多个IP地址和端口，并以“,”进行分隔。其中第一个必须是Loader服务的浮动IP地址和端口，其余的可根据业务需求配置。 10.96.26.111:21351,127.0.0.2:21351 authentication.type 登录认证的方式。
security.credentials.hbase.enabled”设置为“true”（该参数值默认为“false”，改为“true”后对已有业务没有影响。如果要卸载HBase服务，卸载前请将此参数值改回“false”），将配置项“spark.inputFormat.cache.enabled”设置为“false”。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
