检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
一个重启策略,可参考创建FlinkServer作业在作业开发界面配置(MRS 3.1.0及以后版本)。 重启策略也可以通过Flink的配置文件“客户端安装目录/Flink/flink/conf/flink-conf.yaml”中的参数“restart-strategy”指定,为全
本小节介绍了如何使用HQL向已有的表employees_info中加载数据。从本节中可以掌握如何从本地文件系统、MRS集群中加载数据。以关键字LOCAL区分数据源是否来自本地。 样例代码 -- 从本地文件系统/opt/hive_examples_data/目录下将employee_info.t
查看退服失败报错日志,日志中显示总计1564个块,有一个块一直没法被备份。 登录集群Master节点,进入HDFS客户端,执行hdfs fsck /命令查看损坏的块,并记录文件路径。 例如:/tmp/hive-scratch/omm/_tez_session_dir/xxx-resources/xxx.jar。 并且HDFS状态为“CORRUPT”
ConnectionLoss for /hiveserver2 原因分析 MRS 1.8版本和开源版本认证方式一样,在Hive的URL中直接将Kerberos认证的文件传进去进行认证。而在MRS 1.9版本中,此方法行不通,需要先进行Kerberos认证,并且需要获取一些别的配置信息,然后再进行URL拼接。
1版本UDF内的Date类型改为Hive内置。 索引功能废弃。 驱动不兼容:Hive 3.1和Hive 1.2版本的JDBC驱动不兼容。 Hive 3.1对ORC文件列名大小写,下划线敏感。 Hive 3.1版本列中不能有名为time的列。 父主题: 产品咨询类
络通信的好坏直接决定着数据交换的速度以及任务执行的效率。 操作步骤 以下配置均可在客户端的“conf/flink-conf.yaml”配置文件中进行修改适配,默认已经是相对较优解,请谨慎修改,防止性能下降。 “taskmanager.network.netty.num-arenas”:
Hadoop中,NameNode作为单独的机器,在其namespace内协调HDFS的各种操作。这些操作包括获取数据块位置,列出目录及创建文件。NameNode接受HDFS的操作,将其视作RPC调用并置入FIFO调用队列,供读取线程处理。虽然FIFO在先到先服务的情况下足够公平,
系统当前指标取值满足自定义的告警设置条件。 对系统的影响 DataNode进程的垃圾回收时间过长,可能影响该DataNode进程正常提供服务,用户无法读写文件。 可能原因 该节点DataNode实例堆内存使用率过大,或配置的堆内存不合理,导致进程GC频繁。 处理步骤 检查GC时间。 在FusionInsight
IDEA工具,同时完成JDK、Maven等初始配置。 准备ClickHouse应用开发环境 准备连接集群配置文件 应用程序开发或运行过程中,需通过集群相关配置文件信息连接MRS集群,配置文件通常包括集群信息文件,可从已创建好的MRS集群中获取相关内容。 用于程序调测或运行的节点,需要与MRS集群内节
该用户A的同时,删除该用户A残留的文件夹,否则使用重新创建的同名用户A提交作业会失败。 删除用户残留文件夹操作方法为:依次登录MRS集群的Core节点,在每个Core节点上执行如下两条命令,其中如下命令中“$user”为具体的以用户名命名的文件夹。 cd /srv/BigData
配置IoTDB应用安全认证 使用Keytab文件进行JDBC安全认证 使用Keytab文件进行Session安全认证 父主题: 准备IoTDB应用开发环境
开发Alluxio应用 Alluxio样例程序开发思路 Alluxio初始化 写Alluxio文件 读Alluxio文件 父主题: Alluxio开发指南
Loader输入类算子 CSV文件输入 固定宽度文件输入 表输入 HBase输入 HTML输入 Hive输入 Spark输入 父主题: Loader算子帮助
所在节点的hosts文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。 操作步骤 将从IntelliJ IDEA中导出的jar包复制到Linux客户端指定目录(例如“/opt/jarsource”)。 若业务需要访问外部组件,其所依赖的配置文件请参考相关开发指引,获
Flume”进入Flume服务界面,在右上角选择“更多 > 下载客户端”,选择“选择客户端类型”为“完整客户端”,下载Flume服务客户端文件。 客户端文件名称为“FusionInsight_Cluster_<集群ID>_Flume_Client.tar”,本章节以“FusionInsi
debug=true; }; 使用--files和相对路径提交keytab文件,这样才能保证keytab文件被加载到executor的container中 进入Spark客户端目录,调用bin/spark-submit脚本运行代码,运行命令如下(类名与文件名等请与实际代码保持一致,此处仅为示例):
debug=true; }; 使用--files和相对路径提交keytab文件,这样才能保证keytab文件被加载到executor的container中 进入Spark客户端目录,调用bin/spark-submit脚本运行代码,运行命令如下(类名与文件名等请与实际代码保持一致,此处仅为示例):
隔,举例:userA,userB groupA,groupB。当配置为*时表示所有用户或用户组。 mapred supergroup,System_administrator_186 父主题: 使用Mapreduce
准备运行调测环境 在弹性云服务器管理控制台,申请一个新的弹性云服务器,用于应用开发、运行、调测。 弹性云服务器的安全组需要和MRS集群Master节点的安全组相同。 弹性云服务器的VPC需要与MRS集群在同一个VPC中。 弹性云服务器的网卡需要与MRS集群在同一个网段中。 申请弹性IP,绑定
所在节点的hosts文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。 操作步骤 将从IntelliJ IDEA中导出的jar包复制到Linux客户端指定目录(例如“/opt/jarsource”)。 若业务需要访问外部组件,其所依赖的配置文件请参考相关开发指引,获