检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
果开启外部连接SSL,则需要添加表3中参数。 表3 参数描述 参数 描述 参数值示例 security.ssl.rest.enabled 打开外部SSL开关。 true security.ssl.rest.keystore keystore的存放路径。 ${path}/flink
登录OBS控制台,进入OBS路径,查看作业输出信息。 进入到5中创建的output路径查看相关的output文件,需要下载到本地以文本方式打开进行查看,如图6所示。 图6 输出文件列表 父主题: 使用HDFS
系统未导入证书(CA证书、HA根证书、HA用户证书、Gaussdb根证书或者Gaussdb用户证书等)、导入证书失败、证书文件失效。 处理步骤 查看告警原因。 打开FusionInsight Manager页面,在实时告警列表中,单击此告警所在行的。 查看“附加信息”,获取告警附加信息。 告警附加信息中显示“CA
登录OBS控制台,进入OBS路径,查看作业输出信息。 进入到5中创建的output路径查看相关的output文件,需要下载到本地以文本方式打开进行查看,如图6所示。 图6 输出文件列表 父主题: 使用HDFS
在NameNode WebUI,查看是否显示如下信息:“Safe mode is ON.” “Safe mode is ON.”表示安全模式已打开,后面的提示信息为告警信息,根据实际情况展现。 是,执行21。 否,执行24。 图1 Overview 以root用户登录客户端,用户密码
与其他云服务的关系 MRS服务与周边其他云服务的关系如图1所示。 图1 MRS与其他云服务的关系图 MRS服务与其他云服务的关系 表1 MRS服务与其他云服务的关系 服务名称 MRS服务与其他服务的关系 主要交互功能 虚拟私有云(Virtual Private Cloud) MR
log的功能,用户可以通过配置开关和相应的清理周期参数来进行控制。 表17 参数说明 参数 描述 默认值 spark.history.fs.cleaner.enabled 是否打开清理功能。 true spark.history.fs.cleaner.interval 清理功能的检查周期。 1d spark.history
登录ECS需要Windows系统的账号、密码,弹性IP地址以及配置安全组规则。具体请参见Windows云服务器登录方式。 在Windows的远程桌面中,打开浏览器访问Manager。 Manager访问地址为“集群管理页面”地址。访问时需要输入集群的用户名和密码,例如“admin”用户。 如果
OVERWRITE操作大量分区中可能出现。 配置Spark SQL防御规则 登录FusionInsight Manager,选择“集群 > SQL防御”,打开SQL防御页面。 参考添加MRS SQL防御规则添加针对Spark的SQL防御规则。 Spark SQL引擎支持的各类型SQL防御规则可参考MRS
备份Hive业务数据 操作场景 为了确保Hive日常用户的业务数据安全,或者系统管理员需要对Hive进行重大操作(如升级或迁移等),需要对Hive数据进行备份,从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复,将对业务的影响降到最低。 系统管理员可以通过FusionInsight
Spark应用开发建议 RDD多次使用时,建议将RDD持久化 RDD在默认情况下的存储级别是StorageLevel.NONE,即既不存磁盘也不放在内存中,如果某个RDD需要多次使用,可以考虑将该RDD持久化,方法如下: 调用spark.RDD中的cache()、persist(
导出Doris数据至HDFS 数据导出(Export)功能可以将用户指定的表或分区的数据,以文本的格式通过Broker进程导出到远端存储上,如HDFS/对象存储(支持S3协议) 等。 不建议一次性导出大量数据。一个Export作业建议的导出数据量最大在几十GB。过大的导出会导致更多的垃圾文件和更高的重试成本。
使用Flume服务端从本地采集静态日志保存到Kafka 操作场景 该任务指导用户使用Flume服务端从本地采集静态日志保存到Kafka的Topic列表(test1)。 本章节适用于MRS 3.x及之后版本。 本配置默认集群网络环境是安全的,数据传输过程不需要启用SSL认证。如需使
使用Flume服务端从本地采集静态日志保存到Kafka 该任务指导用户使用Flume服务端从本地采集静态日志保存到Kafka的Topic列表(test1)。 本配置默认集群网络环境是安全的,数据传输过程不需要启用SSL认证。如需使用加密方式,请参考配置Flume加密传输数据采集任
Location: hdfs://hacluster/testHdfs Content-Length: 0 Connection: close 打开“/huawei/testHdfs”文件,并读取文件中上传写入的内容。 执行如下命令访问HTTP: curl -L --negotiate
update(RocksDBValueState.java:103) 通过开启火焰图(自定义配置rest.flamegraph.enabled=true打开火焰图)重新提交作业查看算子热点,如下图所示算子热点达到100%。 图1 通过火焰图查看算子热点 当发生RocksDB读写延迟大时,可开启
cies.jar 显示结果如下: 调用ClickHouse的SpringBoot样例接口触发样例代码运行: Windows环境运行方式: 打开浏览器,输入:http://ClickHouse客户端节点IP:8080/clickhouse/executeQuery,查看浏览器返回信息:
绑定至不同的租户。 操作步骤 登录FusionInsight Manager,单击“租户资源”。 在左侧租户列表,选择父租户节点然后单击,打开添加子租户的配置页面,参见表1为子租户配置属性。 表1 子租户参数一览 参数名 描述 集群 显示上级父租户所在集群。 父租户资源 显示上级父租户的名称。
Location: hdfs://hacluster/testHdfs Content-Length: 0 Connection: close 打开“/huawei/testHdfs”文件,并读取文件中上传写入的内容。 执行如下命令访问HTTP: curl -L --negotiate
cies.jar 显示结果如下: 调用ClickHouse的SpringBoot样例接口触发样例代码运行: Windows环境运行方式: 打开浏览器,输入:http://ClickHouse客户端节点IP:8080/clickhouse/executeQuery,查看浏览器返回信息: