检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Edit Configurations”。 在弹出的配置窗口中用鼠标左键单击左上角的号，在下拉菜单中选择Remote，然后选择对应要调试的源码模块路径，并配置远端调试参数Host和Port，如下图所示。 其中Host为获取的Worker运行的主机IP地址，Port为调试的端口号（确保该端口在运行机器上没被占用）。
> Scala”。 图17 选择Scala语言 当IDEA可以识别出Scala SDK时，在设置界面，选择编译的依赖jar包，然后单击“OK”应用设置。 图18 Add Scala Support 当系统无法识别出Scala SDK时，需要自行创建。 单击“Create...”。
> Scala”。 图17 选择Scala语言 当IDEA可以识别出Scala SDK时，在设置界面，选择编译的依赖jar包，然后单击“OK”应用设置。 图18 Add Scala Support 当系统无法识别出Scala SDK时，需要自行创建。 单击“Create...”。
目前，如下图所示，HDFS无法很好的支持这些操作，需要自己根据业务类型手动识别数据的热度，并且手动设定数据的存储策略，最后手动触发HDFS Auto Data Movement工具进行数据迁移。 因此，能够基于数据的age自动识别出老化的数据，并将它们迁移到价格低廉的存储介质（如Disk/A
<tsd_ip>：所需访问Opentsdb服务的TSD实例IP或主机名。 <start=3y-ago\&m=sum:testdata>：在请求中可能无法识别“&”符号，需对其进行转义。 <python -m json.tool>（可选）: 把响应的请求转换为json格式。 [ {
影响元数据刷新。 列名、别名无特殊情况使用英文，不使用中文 除注释外，由于中文编码存在特殊字符，使用中文会导致impala解析时遇到不能识别的符号，从而出现解析失败或进入死循环。 包含case when子句的view视图或子查询，不应嵌套超过3层，避免出现嵌套过深导致Impala内存溢出
T（大整数）数据类型。 max：最大值函数可以识别并保留最大值，支持STRING、DECIMAL、SHORT、INTEGER、BIGINT、FLOAT、DOUBLE、DATE、TIMESTAMP数据类型。 min：最小值函数可以识别并保留最小值，支持STRING、DECIMAL、
对于可以压缩的数据，配置压缩算法可以有效减少磁盘的IO，从而达到提高性能的目的。 说明： 并非所有数据都可以进行有效压缩。例如一张图片的数据，因为图片一般已经是压缩后的数据，所以压缩效果有限。常用的压缩算法是SNAPPY，因为它有较好的Encoding/Decoding速度和可以接受的压缩率。
对于可以压缩的数据，配置压缩算法可以有效减少磁盘的IO，从而达到提高性能的目的。 说明： 并非所有数据都可以进行有效压缩。例如一张图片的数据，因为图片一般已经是压缩后的数据，所以压缩效果有限。常用的压缩算法是SNAPPY，因为它有较好的Encoding/Decoding速度和可以接受的压缩率。
用户需保证Maven已配置华为镜像站中SDK的Maven镜像仓库，具体可参考配置华为开源镜像仓。 编包并运行程序 获取样例代码。 下载样例工程的Maven工程源码和配置文件，请参见获取MRS应用开发样例工程。 将样例代码导入IDEA中。 获取配置文件。 从集群的客户端中获取文件。在“$SPARK_H
海量数据存储：利用HBase实现海量数据存储，并实现毫秒级数据查询。 分布式数据查询：利用Spark实现海量数据的分析查询。 实时数据处理 实时数据处理通常用于异常检测、欺诈识别、基于规则告警、业务流程监控等场景，在数据输入系统的过程中，对数据进行处理。 例如在梯联网行业，智能电梯的数据，实时传入到MRS的流式集群中进行实时告警。
<tsd_ip>：所需访问Opentsdb服务的TSD实例IP或主机名。 <start=3y-ago\&m=sum:testdata>：在请求中可能无法识别“&”符号，需对其进行转义。 <python -m json.tool>（可选）: 把响应的请求转换为json格式。 [ {
xml”图标如图9所示，可直接进行下一步骤操作。 图9 样例项目已作为maven项目导入 图10 Add as Maven Project 此时IDEA可将该项目识别为Maven项目。 图11 样例项目作为maven项目在IDEA中显示 设置项目使用的Maven版本。 在IntelliJ IDEA的菜单栏中，选择“File
MRS约束限制说明 MRS集群组件介绍 MRS产品功能 如果title超长，将自动截断（文字超长时，列表项样式改为：listitem_qFLwPs2_100） 如果title超长，将自动截断（文字超长时，列表项样式改为：listitem_qFLwPs2_100） 03 入门 创建M
用户需保证Maven已配置华为镜像站中SDK的Maven镜像仓库，具体可参考配置华为开源镜像仓。 编包并运行程序 获取样例代码。 下载样例工程的Maven工程源码和配置文件，请参见获取MRS应用开发样例工程。 将样例代码导入IDEA中。 获取配置文件。 从集群的客户端中获取文件。在“$SPARK_H
install bzip2-devel 下载对应Python版本源码。 wget https://www.python.org/ftp/python/3.6.6/Python-3.6.6.tgz 执行如下命令，解压python源码压缩包，例如下载在“opt”目录下。 cd /opt tar
fallBackToHdfs=true，可通过配置为false关闭）。开启后，SQL执行过程中会扫描表的分区统计信息，并作为执行计划中的代价估算，例如对于代价评估中识别的小表，会广播小表放在内存中广播到各个节点上，进行join操作，大大节省shuffle时间。 此开关对于Join场景有较大的性能优化，但是会带来OBS调用量的增加。
xml”图标如图9所示，可直接进行下一步骤操作。 图9 样例项目已作为maven项目导入 图10 Add as Maven Project 此时IDEA可将该项目识别为Maven项目。 图11 样例项目作为maven项目在IDEA中显示 设置项目使用的Maven版本。 在IntelliJ IDEA的菜单栏中，选择“File
Hive中实现CBO的总体过程如下： Hive使用开源组件Apache Calcite实现CBO。首先SQL语句转化成Hive的AST，然后转成Calcite可以识别的RelNodes。Calcite将RelNode中的Join顺序调整后，再由Hive将RelNode转成AST，继续Hive的逻辑优化和物理优化过程。流程图如图1所示：
from x1 where deviceinformationid='111'; 在执行数据查询操作后，如果查询结果中某一列的结果含有中文字等其他非英文字符，会导致查询结果中的列不能对齐，这是由于不同语言的字符在显示时所占的字宽不尽相同。 执行以下命令退出Spark运行环境。 !quit
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
