检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
感知认证,不需要kinit完成认证过程。 “用户名密码认证”:使用集群中“人机”用户的用户名与密码进行认证。 “无认证”:默认任意的用户都可以访问服务端。 父主题: 集群用户权限概述
此时请将“yarn.timeline-service.generic-application-history.enabled”(客户端查询app任务数据时是否从TimelineServer服务获取)参数设置为“false”,直接从ResourceManager上面获取app任务数据。
/etc/hosts后,把hosts文件中的ip与hostname映射关系拷贝到“C:\Windows\System32\drivers\etc\hosts”中。其中主机名请以查询结果为准。 192.168.0.90 node-master1BedB.089d8c43-12d5-410c-b980-c2728a305be3
rand() % 365, 'abc'), (2, rand() % 365, 'bcd'), (1, rand() % 365, 'def'); 查询test_upsert表数据 select * from upsert_tab; ┌─id─┬───pdate─┬─name─┐ │ 2
群的名称 > Hive > Hive读写权限”,根据不同任务场景,勾选不同权限,单击“确定”保存。 说明: 在默认数据库中,查询其他用户表的权限:勾选“查询”。 在默认数据库中,导入数据到其他用户表的权限:勾选“删除”和“插入”。 Flink 在“配置资源权限”的表格中选择“待操作集群的名称
出于管理和信息收集的需要,企业内部会存储海量数据,包括数目众多的各种数据库、数据仓库等,此时会面临数据源种类繁多、数据集结构化混合、相关数据存放分散等困境,导致跨源查询开发成本高,跨源复杂查询耗时长。 HetuEngine提供了统一标准SQL实现跨源协同分析,简化跨源分析操作。 图1 FineBI访问MRS HetuEngine
解决Hivese提交sql卡顿问题 支持jobhistory查询失败信息接口 解决细粒度权限不生效问题 解决hive on Spark读取数据异常问题 解决Hive on mrs任务执行两次数据量增大问题 解决Hive开启矢量向量化查询有些字符串性能差问题 MRS 1.9.0.5 修复问题列表:
自定义”,增加自定义参数 --fe_service_threads,该参数默认值64,请按照需要修改该值,单击“保存”按钮保存配置。 在所有客户端的查询任务都执行完成后,选择“实例”页签,勾选所有“Impalad”实例并重启。 重启全部实例,服务不可用。重启单个实例,会导致当前实例节点正在执行的任务失败,服务可用。
自定义”,增加自定义参数 --fe_service_threads,该参数默认值64,请按照需要修改该值,单击“保存”按钮保存配置。 在所有客户端的查询任务都执行完成后,选择“实例”页签,勾选所有“Impalad”实例并重启。 重启全部实例,服务不可用。重启单个实例,会导致当前实例节点正在执行的任务失败,服务可用。
在应用开发过程中,如需在本地Windows系统中调测应用程序,需要确保本地节点能与“hosts”文件中所列出的各主机在网络上互通。 如果当前节点与MRS集群所在网络平面不互通,可以通过绑定EIP的方式访问MRS集群,具体操作请参考配置Windows通过EIP访问普通模式集群Kafka。 Windows本地hosts文
stop()和不添加的区别 合理规划AM资源占比 任务数量较多且每个任务占用的资源较少时,可能会出现集群资源足够,提交的任务成功但是无法启动,此时可以提高AM的最大资源占比。 图2 修改AM最大资源百分比 父主题: Spark应用开发规范
如果集群采用安全版本,要进行安全认证。 执行kinit hdfs命令,按提示输入密码(向MRS集群管理员获取密码)。 执行如下命令,检查发出告警的目录下的文件或目录是否是可以删除的无用文件。 hdfs dfs -ls 产生告警的目录路径 是,执行3。 否,执行5。 执行如下命令。删除无用的文件。 hdfs dfs
beeline set hivevar:batchid=xxx 其中“xxxx”表示每一次通过beeline提交任务的批次号,通过该批次号,可以识别出先提交的任务。如果提交任务时不带批次号,该特性功能不会启用。“xxxx”的值是执行任务时指定的,如下所示,“xxxx”值为“012345678901”:
日志归档规则:ZooKeeper的日志启动了自动压缩归档功能,缺省情况下,当日志大小超过30MB的时候,会自动压缩。最多保留20个压缩文件,压缩文件保留个数可以在Manager界面中配置。 表1 ZooKeeper日志列表 日志类型 日志文件名 描述 运行日志 zookeeper-<SSH_USE
登录beeline客户端后,执行“set hivevar:batchid=xxxx” 使用说明: 其中“xxxx”表示每一次通过beeline提交任务的批次号,通过该批次号,可以识别出先提交的任务。如果提交任务时不带批次号,该特性功能不会启用。“xxxx”的值是执行任务时指定的,如下所示,“xxxx”值为“012345678901”:
0MB的时候,会自动压缩,压缩后的日志文件名规则为:“<原有日志名>.[编号].gz”。默认最多保留最近的10个压缩文件,压缩文件保留个数可以在Manager界面中配置。 表1 ClickHouse日志列表 日志类型 日志文件名 描述 运行日志 /var/log/Bigdata/
“<原有日志名>-<yyyy-mm-dd_hh-mm-ss>.[编号].log.zip”。最多保留最近的20个压缩文件,压缩文件保留个数可以在Manager界面中配置。 表1 Flume日志列表 日志类型 日志文件名 描述 运行日志 /flume/flumeServer.log
取消勾选。 根据需求直接勾选待导出的内容。 单击“正则表达式输入”,选择待导出的类型(流表管理、作业管理、UDF管理),输入关键字,单击“查询”,待数据匹配成功后,单击“同步”即完成勾选。 数据匹配成功后,单击“同步”会勾选所有匹配的数据,暂不支持挑选部分数据同步。 单击“校验”
'age' int) ENGINE = S3(path, [ak, sk,] format, [compression]) 执行以下命令查询表。 select * from test1_s3; 修改Manager配置 登录FusionInsight Manager,选择“集群 >
'age' int) ENGINE = S3(path, [ak, sk,] format, [compression]) 执行以下命令查询表。 select * from test1_s3; 修改Manager配置 登录FusionInsight Manager,选择“集群 >