检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
(IOException e) { LOG.error("Close table failed."); } } LOG.info("Exiting testScanDataByIndex."); } 注意事项 需要预先对字段name
(IOException e) { LOG.error("Close table failed."); } } LOG.info("Exiting testScanDataByIndex."); } 注意事项 需要预先对字段name
(IOException e) { LOG.error("Close table failed."); } } LOG.info("Exiting testScanDataByIndex."); } 注意事项 需要预先对字段name
查看该告警的详细信息,查看定位信息中对应的“主机名”字段和“磁盘名”字段的值,获取该告警上报的故障磁盘信息。 更换硬盘。 检查告警是否清除。 是,操作结束。 否,执行5。 收集故障信息。 在FusionInsight Manager界面,选择“运维 > 日志 > 下载”。
(IOException e) { LOG.error("Close table failed."); } } LOG.info("Exiting testScanDataByIndex."); } 注意事项 需要预先对字段name
列名(字段名)由字母、数字、下划线组成。 table_blocksize CarbonData表使用的数据文件的block大小,默认值为1024,最小值为1,最大值为2048,单位为MB。
HetuEngine智能物化视图应用流程 图1 HetuEngine智能物化视图应用流程 表1 HetuEngine智能物化视图应用流程说明 阶段 说明 参考章节 开启物化视图推荐功能 开启物化视图推荐功能之后,QAS实例会根据用户的SQL执行记录自动推荐高价值的物化视图SQL,推荐的物化视图语句可在
因为单次函数调用就要处理掉一个partition所有的数据,如果内存不够,垃圾回收时是无法回收掉太多对象的,很可能出现OOM异常。所以使用这类操作时要慎重! 使用filter之后进行coalesce操作。
列名(字段名)由字母、数字、下划线组成。 table_blocksize CarbonData表使用的数据文件的block大小,默认值为1024,最小值为1,最大值为2048,单位为MB。
“dfs.namenode.safemode.threshold-pct”参数表示DataNode上报的块达到总块数的百分比阈值,达到该阈值时NameNode会自动退出安全模式,该值设置过低可能导致在集群启动阶段存在大量副本复制。 该功能适用于MRS 3.5.0及之后版本。
该选项的含义为告警检查阶段,“频率”为告警检查周期,“平滑次数”为告警连续检查多少次超过阈值,则发送告警。 等待2分钟,查看告警是否自动恢复。 是,处理完毕。 否,执行2。 对系统进行扩容。
导入并配置Hive HCatalog样例工程 操作场景 为了运行MRS产品Hive组件的HCatalog接口样例代码,需要完成下面的操作。 以在Windows环境下开发HCatalog方式连接Hive服务的应用程序为例。 操作步骤 参考获取MRS应用开发样例工程,获取样例代码解压目录中
b.tel_phone, b.email FROM employees_info a JOIN employees_contact b ON(a.id = b.id) WHERE usd_flag='D'; -- 查询入职时间为2014年的雇员编号、姓名等字段,
根据实际填写 write.precombine.field 必填 数据合并字段。 根据实际填写 write.tasks 选填 写Hudi表task并行度,默认值为4。
导入并配置Hive HCatalog样例工程 操作场景 为了运行MRS产品Hive组件的HCatalog接口样例代码,需要完成下面的操作。 本章节以在Windows环境下开发HCatalog方式连接Hive服务的应用程序为例。 操作步骤 参考获取MRS应用开发样例工程,获取样例代码解压目录中
配置MRS集群告警事件消息通知 MRS联合消息通知服务(SMN),采用主题订阅模型,提供一对多的消息订阅以及通知功能,能够实现一站式集成多种推送通知方式(短信和邮件通知)。 在MRS管理控制台,按照集群维度,在集群信息页面的告警页签中能够提供选择是否使能通知服务,只有对应集群开关开启以后
单击“SQL运维”,可查看如下SQL诊断结果: 在“概览”页面,可查看历史任务的整体运行状况,包括:查询分段耗时分布图、查询用户分布图、SQL提交总数、SQL执行成功率、SQL平均响应时间、查询个数、平均执行耗时、平均等待耗时。
Hue的WebUI支持以下功能: 使用编辑器执行Hive、SparkSql的查询语句以及Notebook代码段。需要MRS集群已安装Hive、Spark2x。 使用计划程序提交Workflow任务、计划任务、Bundle任务。
计费项 MRS集群的计费项由MRS服务管理费用和IaaS基础设施资源费用(弹性云服务器、云硬盘)组成。 图1 MRS费用组成 具体内容如表1所示。 表1 MRS集群计费项 计费项 计费项说明 适用的计费模式 计费公式 MRS服务管理费用 计费因子:MRS服务管理,以核为单位计费,每个
配置并导入Manager样例工程 操作步骤 参考获取MRS应用开发样例工程,获取样例代码解压目录中“src”目录下的样例工程文件夹“manager-examples”到本地。 在应用开发环境中,导入样例工程到IntelliJ IDEA开发环境。 打开IntelliJ IDEA,选择