检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
上传文件”上传3的认证凭据文件。添加参数“hdfs.hadoop_kerberos_principal”的值,以“用户名@域名”的方式进行设置,例如:clickhouseuser@HADOOP.COM。 如果ClickHouse对接的是HDFS的HA模式,还需要执行以下操作: 登录Manager首页,选择“集群
打开MultiComponentLocalRunner.java,确认代码中System.setProperty("HADOOP_USER_NAME", "root");设置了用户为root,请确保场景说明中上传的数据的用户为root,或者在代码中将root修改为上传数据的用户名。 在IntelliJ IDEA
env = StreamExecutionEnvironment.getExecutionEnvironment(); // 设置并发度 env.setParallelism(1); // 解析运行参数 ParameterTool
env = StreamExecutionEnvironment.getExecutionEnvironment(); // 设置并发度 env.setParallelism(1); // 解析运行参数 ParameterTool
型、版本和节点规格,帮助客户自动完成华为云企业级大数据平台的安装部署和参数调优。 MRS服务为客户提供完全可控的大数据集群,客户在创建时可设置虚拟机的登录方式(密码或者密钥对),所创建的MRS集群资源完全归客户所用。同时MRS支持在两节点4U8G的ECS上部署大数据集群,为客户测试开发提供更多的灵活选择。
search 7.6.2”集群为例进行相关操作,具体请以实际情况为准。 若有额外的自定义模块,也单独打包成一份Jar包。 步骤二:在MRS设置对接云搜索服务 将在Past Releases下载的对应的Jar包分别上传到所有的HiveServer所在节点的“/opt/Bigdata
fault用户登录。 --password 密码。 默认值:空字符串。该参数和--user参数配套使用,可以在Manager上创建用户名时设置该密码。 --query 使用非交互模式查询。 --database 默认当前操作的数据库。默认值:服务端默认的配置(默认是default)。
INFILE:7上传的待导入至Doris的数据文件所在的OBS路径。 COLUMNS TERMINATED BY:用于指定列分隔符。该参数仅在CSV格式下需设置,且仅能指定单字节分隔符。 FORMAT AS:用于指定文件类型,支持CSV、JSON、PARQUET和ORC格式,默认为CSV。 WITH
Manager界面,选择“运维 > 日志 > 下载”。 在“服务”中勾选“NodeAgent”、“OmmServer”,单击“确定”。设置“主机”为告警所在节点和主OMS节点。 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后30分钟,单击“下载”。 请联系运维人员,并发送已收集的故障日志信息。
域和互信”,查看“本端域”参数,即为当前系统域名。 作业SQL开发完成后,请勾选“基础参数”中的“开启CheckPoint”,“时间间隔(ms)”可设置为“60000”,“模式”可使用默认值。 单击左上角“提交”提交作业。 作业运行成功后,选择“更多 > 作业详情”可查看作业运行详情。 参考管理Kafka
集群创建失败时,是否收集失败日志。默认设置为1,将创建OBS桶仅用于MRS集群创建失败时的日志收集。 约束限制: 不涉及 取值范围: 0:不收集 1:收集 默认取值: 1 enterprise_project_id 否 String 参数解释: 企业项目ID。创建集群时,给集群绑定企业项目ID。默认设置为0,表
env = StreamExecutionEnvironment.getExecutionEnvironment(); // 设置并发度 env.setParallelism(1); // 解析运行参数 ParameterTool
打开MultiComponentLocalRunner.java,确认代码中System.setProperty("HADOOP_USER_NAME", "root");设置了用户为root,请确保场景说明中上传的数据的用户为root,或者在代码中将root修改为上传数据的用户名。 在IntelliJ IDEA
SavePoint Savepoint是指允许用户在持久化存储中保存某个checkpoint,以便用户可以暂停自己的任务进行升级。升级完后将任务状态设置为savepoint存储的状态开始恢复运行,保证数据处理的延续性。 样例工程介绍 MRS样例工程获取地址为https://github.c
SavePoint Savepoint是指允许用户在持久化存储中保存某个checkpoint,以便用户可以暂停自己的任务进行升级。升级完后将任务状态设置为savepoint存储的状态开始恢复运行,保证数据处理的延续性。 Flink样例工程介绍 MRS样例工程获取地址为https://github
FS数据的高可靠; 对于确定存在单副本诉求的文件也可通过dfs.single.replication.exclude.pattern配置项设置单副本的数据文件和目录。 MRS 1.9.3.9及其后续补丁安装后,需要重新下载安装全量的客户端,包含Master节点的原始客户端和虚拟私
在FusionInsight Manager界面,选择“运维 > 日志 > 下载”。 在“服务”框中勾选待操作集群的“Flume”。 单击右上角的时间编辑按钮,设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后1小时,单击“下载”。 请联系运维人员,并发送已收集的故障日志信息。 告警清除
在FusionInsight Manager界面,选择“运维 > 日志 > 下载”。 在“服务”中勾选待操作集群的“LdapClient”。 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后1小时,单击“下载”。 请联系运维人员,并发送已收集的故障日志信息。 告警清除
指本地文件系统中文件路径,每个节点都需要放一份/opt/log1.txt和/opt/log2.txt。可以默认,也可以设置。 <windowTime> 指窗口时间大小,以分钟为单位。可以默认,也可以设置。 运行向Kafka生产并消费数据样例程序(Scala和Java语言)。 生产数据的执行命令启动程序。
计算资源指租户Yarn任务队列资源,可以修改任务队列的配额,并查看任务队列的使用状态和使用统计。 存储资源目前支持HDFS存储,可以添加删除租户HDFS存储目录,设置目录的文件数量配额和存储空间配额。 租户可以在界面上根据业务需要,在集群中创建租户、管理租户。 创建租户时将自动创建租户对应的角色、计算资