检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
根据实际场景，修改“KafkaProperties.java”文件中的“TOPIC”变量，例如：public final static String TOPIC = "kafka-topic"。 该样例默认的时序数据模板为“设备名称,时间戳,值”，例如“sensor_1,1642215835758,1
Hive支持开源MySQL和Postgres元数据库，本章节以对接开源MySQL和Postgres数据库进行说明。 约束与限制 当外置元数据到MySQL后，Hive仅表名、字段名、表描述支持中文，其余暂不支持。 适用于MRS 3.x及以后版本。 步骤一：安装数据库并上传驱动包 安
使用具有Doris管理权限的用户通过MySQL客户端连接到Doris。 执行以下命令创建数据库example_db： create database if not exists example_db; 执行以下命令查看数据库信息： SHOW DATABASES; mysql> SHOW DATABASES;
据集的操作方法，如map，filter。 pyspark.Broadcast：广播变量类。广播变量允许保留一个只读的变量，缓存在每一台机器上，而非每个任务保存一份复制。 pyspark.StorageLevel： 数据存储级别。有内存（MEMORY_ONLY），磁盘（DISK_O
据集的操作方法，如map，filter。 pyspark.Broadcast：广播变量类。广播变量允许保留一个只读的变量，缓存在每一台机器上，而非每个任务保存一份复制。 pyspark.StorageLevel： 数据存储级别。有内存（MEMORY_ONLY），磁盘（DISK_O
区功能后需要配置Topic的分区数，分区数必须大于1。MRS 3.3.0及之后版本，数据过滤时间用于过滤数据，当源端数据的时间小于设定时间时，该数据将会被丢弃，当源端数据的时间大于设定时间时，该数据发送到下游。 单击显示该参数。如果“Connect With Hudi”选择“是”，则该参数为必填项。
MapReduce处理后结果数据输出目录 mapred.map.tasks MapReduce map任务个数 “${变量名}”表示：该值来自job.properties所定义。 例如：${nameNode}表示的就是“hdfs://hacluster”。（可参见配置Oozie作业运行参数）
MapReduce处理后结果数据输出目录 mapred.map.tasks MapReduce map任务个数 “${变量名}”表示：该值来自“job.properties”所定义。 例如：${nameNode}表示的就是“hdfs://hacluster”。（可参见配置Oozie作业运行参数）
上传数据库驱动文件 操作场景 CDL是一种简单、高效的数据实时集成服务，能够从各种OLTP数据库中抓取事件推送至Kafka。通过CDLService WebUI创建数据库连接时，可将数据库对应的驱动文件通过界面上传，方便统一管理。 前提条件 已获取待连接数据库对应的驱动Jar包。
据集的操作方法，如map，filter。 pyspark.Broadcast：广播变量类。广播变量允许保留一个只读的变量，缓存在每一台机器上，而非每个任务保存一份复制。 pyspark.StorageLevel： 数据存储级别。有内存（MEMORY_ONLY），磁盘（DISK_O
Connect框架的实时数据集成服务。 CDL服务能够从各种OLTP数据库中捕获数据库的Data Change事件，并推送到kafka，再由sink connector推送到大数据生态系统中。 CDL目前支持的数据源有MySQL、PostgreSQL、Hudi、Kafka、ThirdParty-Ka
10亿级数据量场景的解决方案有哪些？ 问： 10亿级数据量场景的解决方案有哪些？ 答： 有数据更新、联机事务处理OLTP、复杂分析的场景，建议使用云数据库 GaussDB(for MySQL)。 MRS的Impala + Kudu也能满足该场景，Impala + Kudu可以在join操作时，把当前所有的join表都加载到内存中来实现。
found”。 原因分析 用户登录Master节点执行命令之前，未设置环境变量。 处理步骤 以root用户登录任意一个Master节点。 执行source 客户端安装目录/bigdata_env命令，设置环境变量。 执行hdfs命令即可成功使用HDFS客户端。 父主题： 使用HDFS
据集的操作方法，如map，filter。 pyspark.Broadcast：广播变量类。广播变量允许保留一个只读的变量，缓存在每一台机器上，而非每个任务保存一份复制。 pyspark.StorageLevel： 数据存储级别。有内存（MEMORY_ONLY），磁盘（DISK_O
据集的操作方法，如map，filter。 pyspark.Broadcast：广播变量类。广播变量允许保留一个只读的变量，缓存在每一台机器上，而非每个任务保存一份拷贝。 pyspark.StorageLevel： 数据存储级别。有内存（MEMORY_ONLY），磁盘（DISK_O
根据实际场景，修改“KafkaProperties.java”文件中的“TOPIC”变量，例如：public final static String TOPIC = "kafka-topic"。 该样例默认的时序数据模板为“设备名称,时间戳,值”，例如“sensor_1,1642215835758,1
Hive GC 时间超出阈值 告警解释 系统每60秒周期性检测Hive服务的GC时间，当检测到Hive服务的GC时间超出阈值(连续3次检测超过12秒)时产生该告警。用户可通过“运维 > 告警 > 阈值设置 > 待操作集群的名称 > Hive”修改阈值。当Hive GC时间小于或等于阈值时，告警恢复。
自定义Hive表行分隔符 操作场景 通常情况下，Hive以文本文件存储的表会以回车作为其行分隔符，即在查询过程中，以回车符作为一行表数据的结束符。但某些数据文件并不是以回车分隔的规则文本格式，而是以某些特殊符号分隔其规则文本。 MRS Hive支持指定不同的字符或字符组合作为Hi
自定义Flink log4j日志输出级别不生效 用户问题 MRS 3.1.0集群自定义Flink log4j日志级别不生效。 问题现象 在使用MRS 3.1.0集群Flink数据分析时，将“$Flink_HOME/conf”目录下的“log4j.properties”文件中日志级别修改为INFO级别日志。
连接”新创建一个数据连接。 图2 使用RDS服务MySQL数据库 当用户选择的数据连接为“RDS服务MySQL数据库”时，请确保使用的数据库用户为root用户。如果为非root用户，需要先以root用户登录到数据库执行如下SQL命令为该数据库用户进行赋权，其中${db_name}
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
