检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Oozie定时任务没有准时运行如何处理 问题 在Hue或者Oozie客户端设置执行Coordinator定时任务，但没有准时执行。 回答 设置任务时，需要使用UTC时间。 例如在“job.properties”中配置“start=2016-12-20T09:00Z”。 修改配置后重新启动定时任务即可。
native作为SQL执行引擎来读取ORC数据，默认为hive。 配置参数 登录FusionInsight Manager系统，选择“集群 > 服务 > Spark2x > 配置”，单击“全部配置”，搜索以下参数。 参数 说明 默认值 取值范围 spark.sql.orc.enableVectorizedReader
配置Yarn模式下Spark动态资源调度 操作场景 对于Spark应用来说，资源是影响Spark应用执行效率的一个重要因素。当一个长期运行的服务（比如JDBCServer），如果分配给它多个Executor，可是却没有任何任务分配给它，而此时有其他的应用却资源紧张，这就造成了很大的资源浪费和资源不合理的调度。
优化数据倾斜场景下的Spark SQL性能 配置场景 在Spark SQL多表Join的场景下，会存在关联键严重倾斜的情况，导致Hash分桶后，部分桶中的数据远高于其他分桶。最终导致部分Task过重，运行很慢；其他Task过轻，运行很快。一方面，数据量大Task运行慢，使得计算性
优化小文件场景下的Spark SQL性能 配置场景 Spark SQL的表中，经常会存在很多小文件（大小远小于HDFS块大小），每个小文件默认对应Spark中的一个Partition，也就是一个Task。在很多小文件场景下，Spark会起很多Task。当SQL逻辑中存在Shuff
shuffle出现任务失败 问题 使用Hash shuffle运行1000000（map个数）*100000（reduce个数）的任务，运行日志中出现大量的消息发送失败和Executor心跳超时，从而导致任务失败。 回答 对于Hash shuffle，在shuffle的过程中写数据时不做排序操作，
IP Address函数 contains(network, address) → boolean 当CIDR网络中包含address时返回true。 示例： 返回true： SELECT contains('10.0.0.0/8', IPADDRESS '10.255.255.255');
在“实例”页面勾选Core节点所在的JobServer实例，选择“更多 > 删除实例”，删除Core节点上的JobServer实例。 查看JobGateway服务是否正常，在MRS控制台作业管理页签中，提交作业，查看作业功能是否正常。 父主题： 使用JobGateway
使用JDBC连接Impala执行查询后，Impalad的session连接长时间没提交查询，但连接没有自动断开。 回答 如果要永久生效，登录Manager界面，选择“集群 > 服务 > Impala > 配置 > 全部配置 > Impalad（角色） > 自定义”，在“impalad.customized.confi
v/BigData/data1/tmp/HBase/obs”。 单击“保存”，保存配置。 单击“概览”，选择“更多 > 重启服务”，重启HBase服务。服务重启成功后即开启了冷热分离功能。 冷热分离特性开启后需设置表的冷热时间分界点才能实现表数据冷热存储，相关操作请参见HBase冷热分离相关命令介绍。
用户可以设置参数use_metadata_cache值为1或者为true，通过RocksDB将元数据预先缓存到内存。 使用ClickHouse客户端连接到ClickHouse服务端，具体请参考ClickHouse客户端使用实践。 设置表元数据预先缓存能力。 对历史表设置元数据缓存： ALTER TABLE <table
如'<'，'<='，'>'，'>='，'!>'，'!<'。 配置参数 登录FusionInsight Manager系统，选择“集群 > 服务 > Spark2x > 配置”，单击“全部配置”，搜索以下参数。 参数 说明 默认值 spark.sql.dropPartitionsInBatch
次关联操作无效。 为已有的租户关联ClickHouse服务 在FusionInsight Manager页面，选择“租户资源”，选中需要操作的租户，选择“服务关联”页签，单击“关联服务”，具体参数如下表所示： 参数 描述 服务 选择“ClickHouse” 关联类型 选择“共享”
登录FusionInsight Manager，选择“集群 > 服务 > Hive > 配置 > 全部配置”。 修改Hive配置： 选择“WebHCat > 安全”，在该界面选择HTTPS或者HTTP，修改后重启Hive服务即可使用对应的协议。 父主题： Hive企业级能力增强
Hive支持的传统关系型数据库语法说明 Hive支持如下传统关系型数据库语法： Grouping EXCEPT、INTERSECT Grouping 语法简介： 当group by语句带with rollup/cube选项时，Grouping才有意义。 CUBE生成的结果集显示了所选列中值的所有组合的聚合。
建库、表脚本迁移、重建元数据操作时需要特别注意，防止错误。 操作步骤 登录FusionInsight Manager页面，选择“集群 > 服务 > Hive > 配置 > 全部配置”。 选择“HiveServer（角色） > 自定义”，对参数文件“hive-site.xml”添加自定义参数，设置“名称”为“hive
FlinkSQL ClickHouse表开发规则 提前在ClickHouse中创建表 Flink作业在ClickHouse中找不到对应表会报错，所以需提前在ClickHouse中创建好对应的表。 Flink写ClickHouse不支持删除操作 由于不支持删除操作，Flink无法对
ClickHouse容量规划设计 为了能够更好的发挥ClickHouse分布式查询能力，在集群规划阶段需要合理设计集群数据分布存储。 当前ClickHouse能力为单机磁盘容量达到80%后会上报告警信息，磁盘容量达90%后集群会处于只读状态。 出现磁盘告警信息后需要考虑是否是容量
ClickHouse表字段设计 规则 不允许用字符类型存放时间或日期类数据，尤其是需要对该日期字段进行运算或者比较的时候。 不允许用字符类型存放数值类型的数据，尤其是需要对该数值字段进行运算或者比较的时候。字符串的过滤效率相对于整型或者特定时间类型有下降。 建议 不建议表中存储过
Manager管理，则必须配置系统互信，请参见配置MRS集群间互信。如果主集群部署为普通模式，则不需要配置互信。 主备集群上的时间必须一致，而且主备集群上的NTP服务必须使用同一个时间源。 检查IoTDB备份文件保存路径。 停止IoTDB的上层应用。 恢复IoTDB业务数据 在FusionInsight
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
