检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
d > Scala”。 图20 选择Scala语言 当IDEA可以识别出Scala SDK时，在设置界面，选择编译的依赖jar包，然后单击“OK”应用设置 图21 Add Scala Support 当系统无法识别出Scala SDK时，需要自行创建。 单击“Create...”。
目前，如下图所示，HDFS无法很好的支持这些操作，需要自己根据业务类型手动识别数据的热度，并且手动设定数据的存储策略，最后手动触发HDFS Auto Data Movement工具进行数据迁移。 因此，能够基于数据的age自动识别出老化的数据，并将它们迁移到价格低廉的存储介质（如Disk/A
通过数据治理中心DataArts Studio，用户可以先在线开发调试MRS HQL/SparkSQL脚本、拖拽式地开发MRS作业，完成MRS与其他20多种异构数据源之间的数据迁移和数据集成；通过强大的作业调度与灵活的监控告警，轻松管理数据作业运维。 目前MRS集群支持在线创建如下几种类型的作业： Map
T（大整数）数据类型。 max：最大值函数可以识别并保留最大值，支持STRING、DECIMAL、SHORT、INTEGER、BIGINT、FLOAT、DOUBLE、DATE、TIMESTAMP数据类型。 min：最小值函数可以识别并保留最小值，支持STRING、DECIMAL、
查看MRS集群日志 MRS集群日志概述 查看MRS云服务操作日志 查看历史MRS集群信息 查看MRS集群审计日志 查看MRS组件角色实例日志 在线检索MRS集群日志 下载MRS集群日志 采集MRS集群服务堆栈信息 配置MRS组件默认日志级别与归档文件大小 配置MRS集群审计日志本地备份数
生效。 insert overwrite table tbl_a select * from tbl_a; 若配置的动作为”提示”，当系统识别到SQL语句满足防御规则后，系统会打印告警信息，SQL任务继续运行，提示信息如下： WARN : DYNAMIC_0004 Self-read
d > Scala”。 图21 选择Scala语言 当IDEA可以识别出Scala SDK时，在设置界面，选择编译的依赖jar包，然后单击“OK”应用设置 图22 Add Scala Support 当系统无法识别出Scala SDK时，需要自行创建。 单击“Create...”。
Hive中实现CBO的总体过程如下： Hive使用开源组件Apache Calcite实现CBO。首先SQL语句转化成Hive的AST，然后转成Calcite可以识别的RelNodes。Calcite将RelNode中的Join顺序调整后，再由Hive将RelNode转成AST，继续Hive的逻辑优化和物理优化过程。流程图如图1所示：
配置HDFS DiskBalancer磁盘均衡 配置场景 DiskBalancer是一个在线磁盘均衡器，旨在根据各种指标重新平衡正在运行的DataNode上的磁盘数据。工作方式与HDFS的Balancer工具类似。不同的是，HDFS Balancer工具用于DataNode节点间的数据均衡，而HDFS
从零开始使用Spark SQL Spark提供类似SQL的Spark SQL语言操作结构化数据，本章节提供从零开始使用Spark SQL，创建一个名称为src_data的表，然后在src_data表中每行写入一条数据，最后将数据存储在“mrs_20160907”集群中。再使用SQ
配置HDFS DiskBalancer磁盘均衡 配置场景 DiskBalancer是一个在线磁盘均衡器，旨在根据各种指标重新平衡正在运行的DataNode上的磁盘数据。工作方式与HDFS的Balancer工具类似。不同的是，HDFS Balancer工具用于DataNode节点间的数据均衡，而HDFS
务，开启物化视图推荐能力后，系统能自动学习并推荐对业务最有价值的物化视图SQL，使HetuEngine具备自动预计算加速能力，在相关场景下在线查询效率获得倍数提升，同时有效降低系统负载压力。 前提条件 集群运行正常并至少安装一个QAS实例。 已创建用于访问HetuEngine W
体对接指导请参见MRS服务如何对接云日志服务。 同时FusionInsight Manager支持在线检索并显示组件的日志内容，用于问题定位等其他日志查看场景，详细操作指导请参见在线检索日志。FusionInsight Manager支持批量导出各个服务角色所有实例生成的日志，无
景，为了保障与数据表的一致性，索引表TTL将自动继承数据表索引列和覆盖列的TTL，不支持手动指定。 索引在线变更 支持索引在线创建、删除和修改状态，不影响数据表读写。 索引在线修复 当查询命中的索引数据无效时，可以触发索引修复，保障最终查询结果正确。 索引工具 支持索引一致性检查
<tsd_ip>：所需访问Opentsdb服务的TSD实例IP或主机名。 <start=3y-ago\&m=sum:testdata>：在请求中可能无法识别“&”符号，需对其进行转义。 <python -m json.tool>（可选）: 把响应的请求转换为json格式。 [ {
fallBackToHdfs=true，可通过配置为false关闭）。开启后，SQL执行过程中会扫描表的分区统计信息，并作为执行计划中的代价估算，例如对于代价评估中识别的小表，会广播小表放在内存中广播到各个节点上，进行join操作，大大节省shuffle时间。 此开关对于Join场景有较大的性能优化，但是会带来OBS调用量的增加。
影响元数据刷新。 列名、别名无特殊情况使用英文，不使用中文 除注释外，由于中文编码存在特殊字符，使用中文会导致impala解析时遇到不能识别的符号，从而出现解析失败或进入死循环。 包含case when子句的view视图或子查询，不应嵌套超过3层，避免出现嵌套过深导致Impala内存溢出
调度Clustering：使用可插拔的Clustering策略创建Clustering计划。 识别符合Clustering条件的文件：根据所选的Clustering策略，调度逻辑将识别符合Clustering条件的文件。 根据特定条件对符合Clustering条件的文件进行分组。
地区与终端节点，即云服务在不同Region有不同的访问域名。 获取方式请参考终端节点及区域。 Project_Id 项目ID，在大多数API接口调用时需要配置在uri中，用以识别不同的项目。 AK/SK 访问密钥对，包含密钥ID与密钥。AK/SK用于对请求内容进行签名。 URI API接口的调用路径及参数。 请参考
调度Clustering：使用可插拔的Clustering策略创建Clustering计划。 识别符合Clustering条件的文件：根据所选的Clustering策略，调度逻辑将识别符合Clustering条件的文件。 根据特定条件对符合Clustering条件的文件进行分组。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
