检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Scala插件（版本：0.35.683） Spark不支持当客户端程序使用IBM JDK 1.7运行时，使用yarn-client模式向服务端提交Spark任务。 Oracle JDK需进行安全加固，具体操作如下。 到Oracle官方网站获取与JDK版本对应的JCE（Java Cryptography
据迁移操作的开始时间。仅当dfs.mover.auto.enable设置为true时才有效。默认值“0 * * * *”表示在每个整点执行任务。表达式的具体含义可参见表2。 0 * * * * dfs.mover.auto.hdfsfiles_or_dirs 指定集群执行自动副本
<value>134217728</value> 图1 某些组件或者业务程序写入的文件大小 distcp 从源集群读文件后写入新集群，默认是使用的MapReduce任务中的dfs.blocksize，默认128M。 在distcp写完文件后，会基于块的物理大小做校验，因为该文件在新旧集群中block.si
执行以下命令将2的Jar上传至HDFS中。 hdfs dfs -put Jar包存放路径 Jar包存放在hdfs中的路径 执行以下命令让Hive在执行命令行任务时加载指定Jar包。 beeline set role admin;（未开启Kerberos认证的集群跳过此操作） add jar Jar包存放在hdfs中的路径;
据迁移操作的开始时间。仅当dfs.mover.auto.enable设置为true时才有效。默认值“0 * * * *”表示在每个整点执行任务。表达式的具体含义可参见表2。 0 * * * * dfs.mover.auto.hdfsfiles_or_dirs 指定集群执行自动副本
HASH(siteid) BUCKETS 10 PROPERTIES("replication_num" = "2"); Doris创建表时限制至少指定2副本，以保证高可用。 可以对Table增加上卷表（Rollup）以提高查询性能。 表的列的Null属性默认为true，会对查询性能有一定的影响。 Doris表必须指定分桶列。
SQL执行时长 statement 对应的语句 detail 对应的逻辑计划，物理计划 Streaming相关的命令：获取平均输入频率，平均调度时延，平均执行时长，总时延平均值 命令： curl https://192.168.195.232:26001/proxy/applica
表。 图4 主机资源概况 基础配置（CPU/内存） 鼠标放置饼图上会显示当前区域集群中各节点不同硬件配置下的配置信息及数量，格式为：核数（平台类型）内存大小：数量。 单击相应区域，会在下方显示相应的主机列表。 磁盘配置 横轴为节点上磁盘总容量（包含OS盘），纵轴为逻辑磁盘数量（包含OS盘）。
但是对于存量集群，为了考虑兼容性，补丁安装完成后dfs.single.replication.enable配置项值为true，保证客户业务不受影响，建议补丁完成后对于没有单副本诉求时手动修改为false后滚动重启HDFS服务，保证HDFS数据的高可靠； 对于确定存在单副本诉求的文件也可通过dfs.single.replication
ate、age等称为Key，而设置了AggregationType的称为Value。 Unique模型 读时合并 这类表没有聚合需求，只需保证主键（user_id和username）的唯一性。且Unique模型的读时合并实现完全可以用Aggregate模型中的REPLACE方式替代。建表示例如下：
SingleOutputStreamOperator<T> min(int positionToMin) 在一个KeyedStream上滚动求最小值。min返回了最小值，不保证非最小值列的准确性。 positionToMin和field代表对某一列求最小值。 public SingleOutputStreamOperator<T>
2 --partitions 2 --topic test --zookeeper 192.168.234.231:2181 解决办法 保证Kafka服务处于正常状态，且可用Broker不小于设置的replication-factor。 创建命令中ZooKeeper地址信息需要添加/kafka。
JobGateway > 实例 > 添加实例”，在Master节点上添加Jobserver实例。 Master2和Master3节点预留内存保证在4GB以上，否则Jobserver实例进程可能启动会失败。 实例添加完成后，在“实例”页面勾选JobBalancer实例，选择“更多 >
WARN日志是由于Flink会去YARN获取资源剩余值并进行检测评估，但该操作需要admin操作权限，可用户并没有设置该权限。该问题不影响任务提交执行，可以忽略。WARN日志如下： Get node resource from yarn cluster. Yarn cluster
的入职时间为2014的分区中。 统计表employees_info中有多少条记录。 查询使用以“cn”结尾的邮箱的员工信息。 提交数据分析任务，统计表employees_info中有多少条记录。实现请见Impala样例程序指导。 父主题： 开发Impala应用
的入职时间为2014的分区中。 统计表employees_info中有多少条记录。 查询使用以“cn”结尾的邮箱的员工信息。 提交数据分析任务，统计表employees_info中有多少条记录。实现请见分析Hive数据。 父主题： 开发Presto应用
压缩比排序：Bzip2>Gzip>LZ4>Snappy 解压速度排序：LZ4>Snappy>Gzip>Bzip2 使用场景建议： 追求速度的场景（如Mapreduce任务中间数据的存储等）——建议使用LZ4和Snappy（高可靠场景，建议使用Snappy）。 追求压缩比，而对压缩速度要求不高的场景（如冷数据
的入职时间为2014的分区中。 统计表employees_info中有多少条记录。 查询使用以“cn”结尾的邮箱的员工信息。 提交数据分析任务，统计表employees_info中有多少条记录。实现请见分析Hive数据。 父主题： 开发Hive应用
sion： bin/yarn-session.sh -jm 1024 -tm 4096 -t conf/ssl/ -d 使用下面命令提交任务： ./bin/flink run --detached -t yarn-session -Dyarn.application.name=py_sql
的入职时间为2014的分区中。 统计表employees_info中有多少条记录。 查询使用以“cn”结尾的邮箱的员工信息。 提交数据分析任务，统计表employees_info中有多少条记录。 父主题： Hive JDBC访问样例程序
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
