检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
file”时,支持“上传文件”和“下载文件”功能。上传配置文件后旧文件将被覆盖,再下载文件只能获取新文件。如果未保存配置并重启服务,那么新文件设置未生效,请及时保存配置。 修改服务配置参数后如需重启服务使配置生效,可在服务页面单击右上角“更多 > 重启服务”。 配置参数前包含图标时,
Manager界面,选择“运维 > 日志 > 下载”。 在“服务”中勾选待操作集群的“LdapServer”和“OmsLdapServer”。 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后1小时,单击“下载”。 请联系运维人员,并发送已收集的故障日志信息。 告警清除
> 下载”。 在“服务”中勾选待操作集群的如下节点信息。 ZooKeeper HDFS Yarn DBService Hive 单击右上角的设置日志收集的“开始时间”和“结束时间”,分别为告警产生时间的前后10分钟,单击“下载”。 请联系运维人员,并发送已收集的故障日志信息。 告警清除
env = StreamExecutionEnvironment.getExecutionEnvironment(); // 设置并发度 env.setParallelism(1); // 解析运行参数 ParameterTool
在“恢复配置”,勾选“元数据和其他数据”下的“Flink”。 在“Flink”的“路径类型”,选择一个恢复目录的类型。 选择不同的备份目录时,对应设置如下: “LocalDir”:表示从主管理节点的本地磁盘上恢复数据。 选择此参数值,还需要配置“源端路径”,表示要恢复的备份文件。例如,“备份任务名_数据源_任务执行时间
在FusionInsight Manager界面,选择“运维 > 日志 > 下载”。 在“服务”中勾选“OMS”,单击“确定”。 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟,单击“下载”。 请联系运维人员,并发送已收集的故障日志信息。 告警清除
xml文件,替换到cluster1中的Spark2x客户端下“conf”目录hbase-site.xml文件。 访问Kafka,仅需将应用访问的Kafka Broker地址设置为cluster2中的Kafka Broker地址即可。 同时访问两个集群的HDFS: 无法同时获取两个相同nameservice的tok
hive."default".t1; SELECT查询 SELECT id FROM hive."default".t1; 在Session级别设置相应的catalog和schema,而不是在查询中传递完全限定的名称 以指定catalogname为“hive”,schemaname为“default”为例:
SQL作业,作业类型选择“流作业”。在作业开发界面进行如下作业配置并启动作业。 需勾选“基础参数”中的“开启CheckPoint”,“时间间隔(ms)”可设置为“60000”,“模式”可使用默认值。 安全集群且HBase的认证模式为hbase.rpc.protection=authentication时参考如下样例,建立Flink
指本地文件系统中文件路径,每个节点都需要放一份/opt/log1.txt和/opt/log2.txt。可以默认,也可以设置。 <windowTime> 指窗口时间大小,以分钟为单位。可以默认,也可以设置。 运行向Kafka生产并消费数据样例程序(Scala和Java语言)。 生产数据的执行命令启动程序。
OBS”管理控制台,单击“并行文件系统”,单击Hive表所在的OBS并行文件系统名称,在概览界面查看“Endpoint”参数值,该值为创建Catalog时设置AWS_ENDPOINT(MRS 3.3.1及之后版本变更为obs.endpoint)参数的值。 登录安装了MySQL的节点,执行以下命令,连接Doris数据库。
使用永洪BI访问MRS HetuEngine 应用场景 永洪BI是一款一站式大数据BI平台,全面覆盖数据分析过程中的各个环节,轻松完成全流程数据分析任务,包括数据采集、清洗、整合、存储、计算、建模、训练、展现、协作等,极大降低了实施、集成、培训的成本。 本章节以Yonghong Desktop
导入并配置Oozie样例工程 操作场景 将下载的样例工程导入到Windows开发环境IDEA中即可开始样例学习。 前提条件 已按照准备本地应用开发环境章节准备好开发用户,例如developuser,并下载用户的认证凭据文件到本地。 用户需要具备Oozie的普通用户权限,HDFS访
Spark Core样例程序开发思路 场景说明 假定用户有某个周末网民网购停留时间的日志,基于某些业务要求,要求开发Spark应用程序实现如下功能: 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 周末两天的日志文件第一列为姓名,第二列为性别,第三列为本次停留时间,单位为分钟,分隔符为“
Spark SQL样例程序开发思路 场景说明 假定用户有某个周末网民网购停留时间的日志文本,基于某些业务要求,要求开发Spark应用程序实现如下功能: 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 周末两天的日志文件第一列为姓名,第二列为性别,第三列为本次停留时间,单位为分钟,分隔符为“
Spark Structured Streaming状态操作样例程序开发思路 场景说明 假设需要跨批次统计每个session期间发生了多少次event以及本session的开始和结束timestamp; 同时输出本批次被更新状态的session。 数据规划 在kafka中生成模拟数据(需要有Kafka权限用户)
Spark Core样例程序开发思路 场景说明 假定用户有某个周末网民网购停留时间的日志,基于某些业务要求,要求开发Spark应用程序实现如下功能: 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 周末两天的日志文件第一列为姓名,第二列为性别,第三列为本次停留时间,单位为分钟,分隔符为“
percentage)→array<[same as x]> 描述:按照百分比percentage,返回所有x输入值的近似百分位数。每一项的权重值为w且必须为正数。x设置有效的百分位。percentage的值必须在0到1之间,并且所有输入行必须为常量。 select approx_percentile(x,
env = StreamExecutionEnvironment.getExecutionEnvironment(); // 设置并发度 env.setParallelism(1); // 解析运行参数 ParameterTool
env = StreamExecutionEnvironment.getExecutionEnvironment(); // 设置并发度 env.setParallelism(1); // 解析运行参数 ParameterTool