检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
单击“选择”,选择本地Tar文件,单击“确定”,等待导入完成。 上传的本地Tar文件最大支持200M。 导出作业步骤 使用具有FlinkServer管理员权限的用户访问Flink WebUI,请参考访问FlinkServer WebUI界面。
计算公式:no. of block x block_size x replication_factor of the schema file = 1 x 128 x 3 = 384 MB 数据加载时,由于默认块大小为1024MB,每个fact文件需要的最小空间为3072MB。
runInline为true时,TTL会在每次写入完成后会根据strategy和value属性的值去判断是否要检查所有分区的TTL情况,如果需要检查并且检查出老化的分区,则逻辑删除老化的分区,逻辑删除操作会生成一个repalcecommit,等执行clean操作时会自动物理删除老化的分区
下面的查询生成每个职员按天计算的订单价格的滚动总和。
如果IP是IPV6地址,需转化,例如:192:168:0:0:0:0:158:2 > 192:168::158:2 sslUsed false 是否启用ssl加密,普通模式集群建议配置为“false”。
如果IP是IPV6地址,需转化,例如:192:168:0:0:0:0:158:2 > 192:168::158:2 sslUsed false 是否启用ssl加密,安全模式集群建议配置为“true”。
对系统的影响 业务失败:文件系统无法正常写入时,如果需要修改或使用该磁盘上的数据,可能会导致作业运行失败。 可能原因 磁盘写入的小文件过多。 处理步骤 磁盘写入的小文件过多。
ZKServerPrincipal zookeeper/hadoop.hadoop.com ZooKeeper服务端principal。请联系管理员获取对应账号。
ARM客户端: OpenJDK:支持1.8.0_272版本(集群自带JDK,可通过集群客户端安装目录中“JDK”文件夹下获取)。 毕昇JDK:支持1.8.0_272版本。 说明: 基于安全考虑,服务端只支持TLS V1.2及以上的加密协议。
SQLServer全数据类型导入HDFS数据跳过 问题 SQLServer全数据类型导入HDFS,数据全部跳过。 答案 数据中包含SQLServer中特有的Timestamp类型,该数据类型与时间和日期无关,需要替换为Datetime类型。 父主题: Loader常见问题
开发Flink应用程序时,优化DataStream的数据分区或分组操作。 当分区导致数据倾斜时,需要考虑优化分区。 避免非并行度操作,有些对DataStream的操作会导致无法并行,例如WindowAll。 keyBy尽量不要使用String。 父主题: Flink性能调优
在管理控制台创建目录、删除目录和删除文件。 作业操作:在管理控制台创建作业、停止作业和删除作业。 数据操作:IAM用户任务、新增用户、新增用户组等操作。 查看云服务操作日志 登录MRS管理控制台。 单击“操作日志”,查看日志详情。
展示的信息将包括表的基本信息和相关的文件系统信息,其中文件系统信息包括总文件数、总文件大小、最大文件长度、最小文件长度、最后访问时间以及最后更新时间。如果指定了分区,将给出指定分区的文件系统信息,而不是分区所在表的文件系统信息。
已准备开发环境及MRS集群相关配置文件,详情请参考准备连接Kafka集群配置文件。 操作步骤 获取样例工程文件夹。 参考获取MRS应用开发样例工程,获取样例代码解压目录中“src”目录下的样例工程文件夹“kafka-examples”。 获取配置文件。
登录到集群的Master节点执行hdfs dfs -du -h / 命令发现如下文件占用大量磁盘空间。
处理步骤 将集群节点上的hosts文件内容复制到安装客户端节点的hosts文件中。 父主题: 集群管理类
在“日志”区域,单击要查看的日志文件名称,即可在线预览对应日志内容。 在“主机”页面单击主机名称,在主机详情页面的“实例”区域,也可查看该主机上所有角色实例的日志文件。 日志内容默认最多显示100行,可单击“加载更多”按钮查看更多日志内容。
父主题: 数据写入
约束限制 RDS数据库实例和ClickHouse集群在相同的VPC和子网内。 在进行数据同步操作时需要评估对源数据库和目标数据库性能的影响,同时建议您在业务低峰期执行数据同步。
使用表管理Hive、SparkSql中的元数据。需要MRS集群已安装Hive、Spark2x。 使用文件查看HDFS中的目录和文件。需要MRS集群已安装HDFS。 使用作业查看MRS集群中所有作业。需要MRS集群已安装Yarn。 使用HBase创建/查询HBase表。