检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
下，便于管理审计日志信息。 审计日志导出到OBS服务器的内容包含两部分，服务审计日志和管理审计日志。 服务审计日志每天凌晨3点自动压缩存储到主管理节点“/var/log/Bigdata/audit/bk/”，保存的文件名格式为<yyyy-MM-dd_HH-mm-ss>.tar.g
Streaming常用接口介绍 方法 说明 socketTextStream(hostname, port, storageLevel) 从TCP源主机：端口创建一个输入流。 start() 启动Spark Streaming计算。 awaitTermination(timeout)
Streaming常用接口介绍 方法 说明 socketTextStream(hostname, port, storageLevel) 从TCP源主机：端口创建一个输入流。 start() 启动Spark Streaming计算。 awaitTermination(timeout)
3.1.5.0.2版本的补丁安装/卸载完成后不需要重启大数据组件。 重启组件的范围，是以补丁依次升级给定的范围，即如果是从MRS 3.1.5.0.1打补丁升级到MRS 3.1.5.0.2，需要重启MRS 3.1.0.0.2补丁的组件；如果是跨版本升级的，则需要重启的组件范围是各补丁的合集。
checkpoint=s1,0:0,1:0 // 任务启动时，该source的恢复点(从0分区的0 offset，1分区的0 offset开始恢复) // 指定与source1表进行join的hudi表，如果该hudi表已经同步到hive，则不需要该配置，直接在sql中通过表名来使用 hoodie
Studio工具的场景下，数据加载使用CDM进行将离线的Hive外表数据迁移到MRS Doris。 方案架构 离线数据可以从数据湖加载，也可以直接加载本地文件。从数据湖加载可以使用工具CDM，在没有CDM工具时，可以直接使用外表加载、BrokerLoad的方式。本地文件加载则使用D
HetuEngine对接的Hive数据源支持Hudi表重定向功能。适用于MRS 3.3.0及以后版本。该功能支持在Hive connector访问Hudi表时重定向到Hudi connector，从而使用Hudi connector高级功能。使用该功能需提前配置目标Hudi数据源，并确保Hudi数据源与当前Hive数据源的Metastore
Jar包编译成功后，可以从1.c中配置的路径下获取到“flink-demo.jar”文件。 安装并配置Flink客户端。 安装MRS集群客户端，例如客户端安装目录为“/opt/hadoopclient”。 将准备集群配置文件中下载的认证凭据压缩包解压缩，并将得到的文件复制到客户端节点中，例
Loop方式递归左表的数据，并遍历右表的每一行，对于相等的Join Key，处理Join结果并输出。 以上方式的最大问题在于，由于数据分散在各节点上，所以在Map到Reduce过程中，需要大量的网络数据传输，使得Join计算的性能大大降低，该过程如图1所示： 图1 无同分布数据传输流程 由于数据表文件是以HDFS
在导入作业中，支持修改启动的map数量“-extractors”和数据导入到HDFS里存储的保存目录“-outputDirectory”。 在导出作业中，支持修改启动的map数量“-extractors”、从HDFS导出时的输入路径“-inputDirectory”和导出作业的文件过滤条件“-fileFilter”。
log中出现如下类似日志时，表示Jar包生成成功，您可以从1.c中配置的路径下获取到Jar包。 21:25:43 Compilation completed successfully in 36 sec 将2中生成的Jar包（如FlinkStreamJavaExample.jar）复制到Flink客户端节点相关
在导入作业中，支持修改启动的map数量“-extractors”和数据导入到HDFS里存储的保存目录“-outputDirectory”。 在导出作业中，支持修改启动的map数量“-extractors”、从HDFS导出时的输入路径“-inputDirectory”和导出作业的文件过滤条件“-fileFilter”。
232:2181,192.168.169.84:2181”。 其中sparkthriftserver2x是ZooKeeper上的目录，表示客户端从该目录下随机选择JDBCServer实例进行连接。 示例：安全模式下通过Beeline客户端连接时执行以下命令： sh CLIENT_HOME/spark/bin/beeline
基础：需配置“默认资源池容量 (%)”，配置当前租户在“default”资源池中使用的计算资源百分比。 高级：需配置如下参数。 权重：资源分配权重，取值范围从0到100。租户资源占比=租户权重/同级别租户总权重之和。 最小资源：保证租户能获得的资源（有抢占支持）。取值可以是父租户资源的百分比或绝对值
用两个字节存储，表示从 1970-01-01（无符号）到当前的日期值。日期中没有存储时区信息。 DateTime 时间戳 用四个字节（无符号的）存储 Unix 时间戳。允许存储与日期类型相同的范围内的值。最小值为 1970-01-01 00:00:00。时间戳类型值精确到秒（没有闰秒）
用两个字节存储，表示从1970-01-01（无符号）到当前的日期值。日期中没有存储时区信息。 DateTime 时间戳 用四个字节（无符号的）存储Unix时间戳。允许存储与日期类型相同的范围内的值。最小值为1970-01-01 00:00:00。时间戳类型值精确到秒（没有闰秒）。时区使用启动客户端或服务器时的系统时区。
若界面显示以下提示信息表示客户端包已经成功保存，单击“关闭”。 下载客户端文件到远端主机成功。 若界面显示以下提示信息，请检查用户名密码及远端主机的安全组配置，确保用户名密码正确，及远端主机的安全组已增加SSH(22)端口的入方向规则。然后从2执行重新下载客户端。 连接到服务器失败，请检查网络连接或参数设置。
log中出现如下类似日志时，表示Jar包生成成功。您可以从1.c中配置的路径下获取到Jar包。 21:25:43 Compilation completed successfully in 36 sec 将2中生成的Jar包（如FlinkStreamJavaExample.jar）拷贝到Linux环境的Flin
）等。 LIKE子句用于在新表中包含来自现有表的所有列定义。可以指定多个LIKE子句，从而允许从多个表中复制列。如果指定了INCLUDING PROPERTIES，则将所有表属性复制到新表中。如果WITH子句指定的属性名称与复制的属性名称相同，则将使用WITH子句中的值。默认是EXCLUDING
WebUI页面。 FlinkServer重启策略的失败重试间隔时间单位与实际不符。 修改Flink登录用户的密码后，提交作业失败。 作业从Checkpoint恢复后一直处于提交中。 Flinkserver作业提交后一直显示提交成功。 Flink作业写Hudi后，Spark查询报错。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
