检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
从Yarn的日志看到，Yarn读取的Spark Web UI地址为http://10.120.169.53:23011，是10网段的IP地址。由于192网段的IP和10网段的IP不能互通，所以导致访问Spark Web UI界面失败。 修改方案： 登录10.120.169.53客户端机器，修改/etc/hosts文件，将10
{BrokerList} {Topic} 如果开启了kerberos认证，需要将客户端的配置文件“spark-defaults.conf”和sparkJDBC服务端中的配置项spark.yarn.security.credentials.hbase.enabled置为true。
Settings”。弹出“Settings”窗口。 在左边导航上选择“Editor > File Encodings”，在“Project Encoding”和“Global Encoding”区域，设置参数值为“UTF-8”，单击“Apply”后，单击“OK”，如图1所示。 图1 设置IntelliJ
Manager界面，选择“运维 > 日志 > 下载”。 在“服务”中勾选待操作集群的“Kafka”。 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 请联系运维人员，并发送已收集的故障日志信息。 告警清除 确认告警已无影响，可手工清除告警。
abric 说明： XXX：驱动名，请以实际样例代码中的内容为准。 catalog、schema分别是JDBC客户端要连接的catalog和schema名称。 HSFabric_IP:HSFabric_Port是HSFabric的URL，多个URL以逗号隔开。例如：“192.168
TIMESTAMP DateTime DECIMAL Decimal 前提条件 集群中已安装ClickHouse、HDFS、Yarn、Flink和Kafka等服务。 客户端已安装，例如安装路径为：/opt/client。 创建作业步骤 使用root用户登录安装客户端的节点。 执行以下命令，切换到客户端安装目录。
的时候会自动压缩，压缩后的日志文件名规则为：“<原有日志名>.log.[编号].gz”。默认最多保留最近的20个压缩文件，压缩文件保留个数和压缩文件阈值可以配置。 审计日志压缩后的日志文件名规则为：“audit.log.[yyyy-MM-dd].[编号].zip”。该文件永远都不会删除。
latitude,longitude'); 空间索引介绍 空间数据包括多维点、线、矩形、立方体、多边形和其他几何对象。空间数据对象占据空间的某一区域，称为空间范围，通过其位置和边界描述。空间数据可以是点数据，也可以是区域数据。 点数据：一个点具有一个空间范围，仅通过其位置描述。它
通过火焰图查看算子热点 当发生RocksDB读写延迟大时，可开启RocksDB监测和告警，通过监测和相关告警项对作业的RocksDB参数进行调优。当作业调优后，建议关闭RocksDB的监测和告警，因为RocksDB的监测和告警会损失RocksDB的5%~10%性能。 为了避免对其他作业的影响
latitude,longitude'); 空间索引介绍 空间数据包括多维点、线、矩形、立方体、多边形和其他几何对象。空间数据对象占据空间的某一区域，称为空间范围，通过其位置和边界描述。空间数据可以是点数据，也可以是区域数据。 点数据：一个点具有一个空间范围，仅通过其位置描述。它
Join示例程序。本工程示例调用flink-connector-kafka模块的接口，生产并消费数据。生成Table1和Table2，并使用Flink SQL对Table1和Table2进行联合查询，打印输出结果。 HBase hbase-examples HBase数据读写操作的应用开发示例。
并配置其他作业信息。 图1 添加MapReduce作业 表1 作业配置信息 参数 描述 示例 作业名称 作业名称，只能由字母、数字、中划线和下划线组成，并且长度为1～64个字符。 mapreduce_job 执行程序路径 待执行程序包地址，可直接手动输入地址路径，也可单击“HDFS”或者“OBS”选择文件。
'1', 'cf:cid', '1000' 如果开启了kerberos认证，需要将客户端的配置文件“spark-default.conf”和sparkJDBC服务端中的配置项spark.yarn.security.credentials.hbase.enabled置为true。 开发思路
Settings”。弹出“Settings”窗口。 在左边导航上选择“Editor > File Encodings”，在“Project Encoding”和“Global Encoding”区域，设置参数值为“UTF-8”，单击“Apply”后，单击“OK”，如图1所示。 图1 设置IntelliJ
ORC文件格式是一种Hadoop生态圈中的列式存储格式，它最初产生自Apache Hive，用于降低Hadoop数据存储空间和加速Hive查询速度。和Parquet文件格式类似，它并不是一个单纯的列式存储格式，仍然是首先根据行组分割整个表，在每一个行组内按列进行存储，并且文件中的数据尽可能
TimeStampsOfLastAppliedOp=Wed May 25 17:55:21 CST 2016 同时查看replication source和replication sink指标的命令。 hbase(main):018:0> status 'replication' 输出结果如下：
Manager界面，选择“运维 > 日志 > 下载”。 在“服务”框中勾选待操作集群的“Flume”。 单击右上角的时间编辑按钮，设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后1小时，单击“下载”。 使用传输工具，收集Flume Client端“/var/log/Bigdata/flume-client”下的日志。
ORC文件格式是一种Hadoop生态圈中的列式存储格式，它最初产生自Apache Hive，用于降低Hadoop数据存储空间和加速Hive查询速度。和Parquet文件格式类似，它并不是一个单纯的列式存储格式，仍然是首先根据行组分割整个表，在每一个行组内按列进行存储，并且文件中的数据尽可能
Executor注册shuffle service的超时时间是5秒，最多重试3次，该参数目前不可配。 建议适当调大task retry次数和Executor失败次数。 在客户端的“spark-defaults.conf”配置文件中配置如下参数。“spark.yarn.max.executor
TimeStampsOfLastAppliedOp=Wed May 25 17:55:21 CST 2016 同时查看replication source和replication sink指标的命令。 hbase(main):018:0> status 'replication' 输出结果如下：
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
