检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
模型在查询时不需要执行聚合操作，并且支持谓词和索引下推，能够在支持实时和频繁更新等场景的同时，提供高效查询。 数据分布 建表时，您可以通过设置合理的分区和分桶，实现数据均匀分布和查询性能提升。数据均匀分布是指数据按照一定规则划分为子集，并且均衡地分布在不同节点上。查询时能够有效裁
打开MultiComponentLocalRunner.java，确认代码中System.setProperty("HADOOP_USER_NAME", "root");设置了用户为root，请确保场景说明中上传的数据的用户为root，或者在代码中将root修改为上传数据的用户名。 在IntelliJ IDEA
运维管理员可以执行Yarn集群的管理操作，例如访问ResourceManager WebUI，管理NodeManager节点，刷新队列，设置NodeLabel等，但不能提交任务。 hetuadmin HetuEngine管理员用户组，属于该组的用户拥有在HSConsole页面操作的权限。
比如换行时标准的解析会自动换行的问题。 解决Yarn监控图缺失问题。 解决使用Sqoop将MySQL数据导入到Hive中失败的问题。 解决Yarn配置本地化日志级别参数被设置为不支持修改的问题。 Hudi clean与archive逻辑解耦，不执行clean也能执行归档。 解决Hudi的.schema目录下文件找不到的问题。
day, MOD(HASH_CODE(user_id), 1024) ) GROUP BY day 多流join场景建议join字段设置为主键 如果join字段不为主键，会导致Flink shuffle task按照hash进行数据处理，导致在Flink中无法保序。同时状态后端中同一个join
FS数据的高可靠； 对于确定存在单副本诉求的文件也可通过dfs.single.replication.exclude.pattern配置项设置单副本的数据文件和目录。 MRS 1.9.3.9及其后续补丁安装后，需要重新下载安装全量的客户端，包含Master节点的原始客户端和虚拟私
通过以下命令可跳过REST接口过滤器获取相应的应用信息。 安全模式下，JobHistory仅支持https协议，故在如下命令的url中请使用https协议。 安全模式下，需要设置spark.ui.customErrorPage=false并重启spark2x服务 （JobHistory2x、JDBCServer2x
用重新启动后C段时间的任务启用流控功能。 配置描述 在Spark Driver端的“spark-defaults.conf”配置文件中进行设置。 表1 参数说明 参数 说明 默认值 spark.streaming.kafka.direct.lifo 配置是否开启Kafka后进先出功能。
用重新启动后C段时间的任务启用流控功能。 配置描述 在Spark Driver端的“spark-defaults.conf”配置文件中进行设置。 表1 参数说明 参数 说明 默认值 spark.streaming.kafka.direct.lifo 配置是否开启Kafka后进先出功能。
提交作业前，需配置“客户端安装路径/Flink/flink/conf/flink-conf.yaml”文件，开启作业注册到FlinkServer功能和作业告警功能，参数设置如下： 表1 开启作业注册和作业告警功能 参数 值 描述 job.register.enable true 是否开启作业注册到FlinkServer：
Hive提供的JDBC实现有超时限制，默认是5分钟，用户可以通过java.sql.DriverManager.setLoginTimeout(int seconds)设置，seconds的单位为秒。 UDF管理 建议由管理员创建永久UDF，避免每次使用时都去add jar，和重新定义UDF。 Hive的UD
通过以下命令可跳过REST接口过滤器获取相应的应用信息。 安全模式下，JobHistory仅支持https协议，故在如下命令的url中请使用https协议。 安全模式下，需要设置spark.ui.customErrorPage=false并重启spark2x服务 （JobHistory2x、JDBCServer2x
metrics.num-immutable-mem-table true 监测RocksDB中不可变Memtable的数量，该值如果一直增加，或大于设置的阈值，会影响写性能 state.backend.rocksdb.metrics.mem-table-flush-pending true
mapreduce.examples.FemaleInfoCollector <inputPath> <outputPath> 此命令包含了设置参数和提交job的操作，其中<inputPath>指HDFS文件系统中input的路径，<outputPath>指HDFS文件系统中output的路径。
根据吞吐量粗略计算，假设生产者可以达到的吞吐量为P，消费者可以达到的吞吐量为C，预期Kafka吞吐量为T，那么建议该Topic的Partition数目设置为Max(T/P , T/C)。 在Kafka集群中，分区越多吞吐量越高，但是分区过多也存在潜在影响，例如文件句柄增加、不可用性增加（如：
val resultValue = hiveValue + hbaseValue.toInt // 设置结果到put对象 put.addColumn(Bytes.toBytes(columnFamily), Bytes.toBytes("cid")
量中密文存放，使用时解密，确保安全; // 本示例以密码保存在环境变量中来实现身份验证为例，运行本示例前，请先在本地环境中设置环境变量HETUENGINE_PASSWORD properties.setProperty("user", "YourUserName");
例，则在该session中找不到该function，而且hive默认将“hive.exec.drop.ignorenonexistent”设置为“true”，即当function不存在时，删除function操作不会报错，这样就表现出了用户没有drop function的权限，执
根据吞吐量粗略计算，假设生产者可以达到的吞吐量为P，消费者可以达到的吞吐量为C，预期Kafka吞吐量为T，那么建议该Topic的Partition数目设置为Max(T/P , T/C)。 在Kafka集群中，分区越多吞吐量越高，但是分区过多也存在潜在影响，例如文件句柄增加、不可用性增加（如：
order01 INCLUDING PROPERTIES; 创建表orders_like02，它将包含表order02定义的列，并将表的存储格式设置为‘TEXTFILE’ CREATE TABLE orders_like02 like order02 STORED AS TEXTFILE;
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
