检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
用户可在程序中设置option("checkpointLocation", "checkpoint路径")启用checkpoint。 从checkpoint恢复时,应用程序或者配置可能发生变更,有部分变更会导致从checkpoint恢复失败,具体限制如下: 不允许source的个数或者类型发生变化。
Presto解决频繁打印jstack,以及日志文件太大不滚动问题 补丁兼容关系 MRS 2.0.1.2补丁包中包含MRS 2.0.1.1补丁包的全部内容。 安装补丁的影响 安装MRS 2.0.1.2补丁期间会重启MRS Manager和Presto服务,重启服务期间会引起服务暂时不可用。 父主题: MRS集群补丁说明
用户在开发前需要使用对接安全模式的Kafka,则需要引入FusionInsight的kafka-clients-*.jar,该jar包可在Kafka客户端目录下获取。 下面列出producer和consumer,以及Flink Stream SQL Join使用主要逻辑代码作为演示。 完整代码参见com
已删除的行会立即标记为已删除,并将自动从所有后续查询中过滤掉。数据清理在后台异步发生。此功能仅适用于MergeTree表引擎系列; 当前能力只支持本地表和复制表的轻量化删除功能,分布式表暂不支持。 数据删除功能的执行性能还依赖merge和mutation(alter table upda
数据再写入Doris,更容易控制导入数据单批次数据量,避免大量小文件产生。如果确实已经使用了Routine Load进行导数,在没整改前请配置FE“max_tolerable_backend_down_num”参数值为“1”,以提升导入数据可靠性。 建议低频攒批导入数据,平均单表
e/data/default/TestTable”,其中$rootDir是HBase的根目录,该值通过在“hbase-site.xml”中配置hbase.rootdir.perms得到,data目录是HBase的固定目录,$nameSpace是nameSpace名字,$tableName是表名。
现告警节点与其他节点存在不同步的情况。 解决办法 登录FusionInsight Manager,选择“集群 > 服务 > HDFS > 实例”,勾选告警发生节点对应的Journalnode实例,选择“更多 > 停止实例”。 登录告警节点,将“/srv/BigData/journ
签发Flink证书样例 将该样例代码生成generate_keystore.sh脚本,放置在Flink客户端的bin目录下。 #!/bin/bash KEYTOOL=${JAVA_HOME}/bin/keytool KEYSTOREPATH="$FLINK_HOME/conf/"
(dt='2021-10-*') // 删除10月份的分区 注意事项 模糊匹配去删除多分区,仅支持支持*,不支持复杂的正则。 系统响应 可在driver日志和客户端中查看命令运行成功或失败。 父主题: Hudi DML语法说明
53:23011,是10网段的IP地址。由于192网段的IP和10网段的IP不能互通,所以导致访问Spark Web UI界面失败。 处理步骤 登录10.10.169.53客户端机器。 修改“/etc/hosts”文件,将10.120.169.53更改为相对应的192网段的IP地址。 修改再重新运行Spark应用,这时就可以打开Spark
假定用户需要以非界面方式实现操作FusionInsight Manager系统,要求开发基于HTTP Basic认证的应用程序实现如下功能: 登录FusionInsight Manager系统。 访问FusionInsight Manager系统,进行查询、添加、删除等操作。 流程分解
Loader支持批量导出已有作业。 前提条件 当前用户具备待导出作业的编辑“Edit”权限或作业所在分组的编辑“Jobs Edit”权限。 操作步骤 登录“Loader WebUI”界面。 登录FusionInsight Manager系统,具体请参见访问集群Manager。 选择“集群 > 服务 > Loader”。
e/data/default/TestTable”,其中$rootDir是HBase的根目录,该值通过在“hbase-site.xml”中配置hbase.rootdir.perms得到,data目录是HBase的固定目录,$nameSpace是nameSpace名字,$tableName是表名。
protocol", protocol)”注释掉。 当Streaming DataFrame/Dataset中有新的可用数据时,outputMode用于配置写入Streaming接收器的数据。其默认值为“append”。 public class SecurityKafkaWordCount {
SecurityKafkaWordCount。 当Streaming DataFrame/Dataset中有新的可用数据时,outputMode用于配置写入Streaming接收器的数据。 public class SecurityKafkaWordCount { public static
Presto新增Presto支持OBSFileSystem MRS Presto解决频繁打印jstack,以及日志文件太大不滚动问题 补丁兼容关系 无。 安装补丁的影响 安装MRS 2.0.1.1补丁期间会重启MRS Manager和Presto服务,重启服务期间会引起服务暂时不可用。 父主题: MRS集群补丁说明
滚动问题 补丁兼容关系 MRS 2.0.1.3补丁包中包含MRS 2.0.1.2补丁包和MRS 2.0.1.1补丁包的全部内容。 安装补丁的影响 安装MRS 2.0.1.3补丁期间会重启MRS Manager和Presto服务,重启服务期间会引起服务暂时不可用。 父主题: MRS集群补丁说明
ar、logs。而大部分只有管理员有权限使用。 用户可以通过以下命令查看YARN用法和帮助: yarn --help 用法:进入Yarn客户端的任意目录,执行source命令导入环境变量,直接运行命令即可。 格式如下所示: yarn [--config confdir] COMMAND
ar、logs。而大部分只有管理员有权限使用。 用户可以通过以下命令查看YARN用法和帮助: yarn --help 用法:进入Yarn客户端的任意目录,执行source命令导入环境变量,直接运行命令即可。 格式如下所示: yarn [--config confdir] COMMAND
ar、logs。而大部分只有管理员有权限使用。 用户可以通过以下命令查看YARN用法和帮助: yarn --help 用法:进入Yarn客户端的任意目录,执行source命令导入环境变量,直接运行命令即可。 格式如下所示: yarn [--config confdir] COMMAND