-
ClickHouse概述 - MapReduce服务 MRS
时间戳。允许存储与日期类型相同的范围内的值。最小值为 1970-01-01 00:00:00。时间戳类型值精确到秒(没有闰秒)。时区使用启动客户端或服务器时的系统时区。 DateTime64 DateTime64 此类型允许以日期(date)加时间(time)的形式来存储一个时刻的时间值。 布尔型
-
Apache Log4j2 远程代码执行漏洞(CVE-2021-44228)修复指导 - MapReduce服务 MRS
ge patch success.”表示执行完成)。 ECS重置密码插件升级(可选) 华为云ECS服务提供了一键式重置密码功能,弹性云服务器的密码丢失或过期时,可使用该功能进行一键式重置密码。重置密码插件为ECS内部运行的客户端进程,不对外提供任何网络服务,重置密码插件Cloud
-
ClickHouse概述 - MapReduce服务 MRS
时间戳。允许存储与日期类型相同的范围内的值。最小值为 1970-01-01 00:00:00。时间戳类型值精确到秒(没有闰秒)。时区使用启动客户端或服务器时的系统时区。 DateTime64 DateTime64 此类型允许以日期(date)加时间(time)的形式来存储一个时刻的时间值。 布尔型
-
MRS 3.2.0-LTS.1版本补丁说明 - MapReduce服务 MRS
算子出现异常被source算子捕获,作业tm不失败的问题 解决MRS实时任务告警通知不显示具体作业名称的问题 解决Flume自定义时间拦截器未生效的问题 解决弹性伸缩时偶现的启动NodeManager失败导致的单节点扩容失败的问题 解决安全模式下,不能使用HDFS用户下发Balance均衡任务的问题
-
Spark应用开发建议 - MapReduce服务 MRS
制到每一台机器。通常看来,在任务之间中,读写共享变量显然不够高效。Spark为两种常见的使用模式,提供了两种有限的共享变量:广播变量、累加器。 在对性能要求比较高的场景下,可以使用Kryo优化序列化性能 Spark提供了两种序列化实现: org.apache.spark.serializer
-
添加MySQL数据源 - MapReduce服务 MRS
会导致更详细的动态过滤器。但是也会增加某些查询的延迟,默认值:20s。 20s unsupported-type-handling 当连接器不支持此数据类型时,是否将其转换为VARCHAR,从而避免失败。 CONVERT_TO_VARCHAR:将不支持的类型转为VARCHAR类型,并且只支持对它们的读操作。
-
使用ZooKeeper客户端 - MapReduce服务 MRS
Manager页面,具体请参见访问MRS Manager,然后选择“服务管理”。 单击“下载客户端”。 “客户端类型”选择“仅配置文件”,“下载路径”选择“服务器端”,单击“确定”开始生成客户端配置文件,文件生成后默认保存在主管理节点“/tmp/MRS-client”。 图1 仅下载客户端的配置文件 登录MRS
-
准备Flink应用安全认证 - MapReduce服务 MRS
是在同一个进程下。 表1 安全认证方式 安全认证方式 说明 配置方法 Kerberos认证 当前只支持keytab认证方式。 从KDC服务器上下载用户keytab,并将keytab放到Flink客户端所在主机的某个文件夹下(例如/home/flinkuser/keytab)。 在
-
Flink客户端使用实践 - MapReduce服务 MRS
Services_Client.tar”。本章节仅以集群ID为1进行介绍,请以实际集群ID为准。 以客户端安装用户登录将要安装客户端的服务器。 进入安装包所在目录,执行如下命令解压软件包。 cd /tmp/FusionInsight-Client tar -xvf FusionI
-
快速使用Flume采集节点日志 - MapReduce服务 MRS
如安装目录为“/opt/Flumeclient”。以下操作的客户端目录只是举例,请根据实际安装目录修改。 将Master1节点上的认证服务器配置文件,复制到安装Flume客户端的节点,保存到Flume客户端中Flume客户端安装目录/fusioninsight-flume-Flume组件版本号/conf目录下。
-
告警参考(适用于MRS 2.x及以前版本) - MapReduce服务 MRS
ALM-12034 周期备份任务失败(2.x及以前版本) ALM-12035 恢复失败后数据状态未知(2.x及以前版本) ALM-12037 NTP服务器异常(2.x及以前版本) ALM-12038 监控指标转储失败(2.x及以前版本) ALM-12039 GaussDB主备数据不同步(2.x及以前版本)
-
快速使用Hive进行数据分析 - MapReduce服务 MRS
Manager页面,具体请参见访问集群Manager,然后选择“服务管理”。 单击“下载客户端”。 “客户端类型”选择“仅配置文件”,“下载路径”选择“服务器端”,单击“确定”开始生成客户端配置文件,文件生成后默认保存在主管理节点“/tmp/MRS-client”。 图1 仅下载客户端的配置文件 MRS3
-
使用Flink客户端 - MapReduce服务 MRS
Services_Client.tar”。本章节仅以集群ID为1进行介绍,请以实际集群ID为准。 以客户端安装用户登录将要安装客户端的服务器。 进入安装包所在目录,执行如下命令解压软件包。 cd /tmp/FusionInsight-Client tar -xvf FusionI
-
导出Doris数据至HDFS - MapReduce服务 MRS
customized.configs”中新增以下参数: export_checker_interval_second:Export作业调度器的调度间隔,默认为5秒。设置该参数后需重启FE。 export_running_job_num_limit:正在运行的Export作业数量限
-
快速使用HBase进行离线数据分析 - MapReduce服务 MRS
Manager页面,具体请参见访问集群Manager,然后选择“服务管理”。 单击“下载客户端”。 “客户端类型”选择“仅配置文件”,“下载路径”选择“服务器端”,单击“确定”开始生成客户端配置文件,文件生成后默认保存在主管理节点“/tmp/MRS-client”。文件保存路径支持自定义。 图1 下载客户端的配置文件
-
准备Flink安全认证 - MapReduce服务 MRS
xx.xx.xxx.xxx,xx.xx.xxx.xxx,xx.xx.xxx.xxx 说明: 集群外节点业务IP为安装客户端所在的弹性云服务器的IP。集群内节点业务IP获取方式如下: 登录MapReduce服务管理控制台,选择“现有集群”,选中当前的集群并单击集群名,进入集群信息页
-
快速开发HDFS应用 - MapReduce服务 MRS
conf”文件。 选择“集群 > 概览 > 更多 > 下载客户端”,“选择客户端类型”设置为“仅配置文件”,单击“确定”,等待客户端文件包生成后根据浏览器提示下载客户端到本地并解压。 例如,客户端配置文件压缩包为“FusionInsight_Cluster_1_Services_Client.
-
快速开发Spark应用 - MapReduce服务 MRS
serPrincipal”为用于认证的用户名,“userKeytabPath”和“krb5ConfPath”需要修改为该文件所在客户端服务器的实际路径。 确认工程内的参数无误后,将工程编译后进行打包,获取打包后的jar文件。 在Maven工具窗口,选择“clean”生命周期,执行
-
Flink Scala API接口介绍 - MapReduce服务 MRS
DataStream[String] 获取用户定义的Socket数据,作为输入流数据。 hostname是指Socket的服务器端的主机名称。 port指的是服务器的监测端口。 delimiter和maxRetry两个参数scala接口暂时不支持设置。 def addSource[T:
-
Flink Scala API接口介绍 - MapReduce服务 MRS
DataStream[String] 获取用户定义的Socket数据,作为输入流数据。 hostname是指Socket的服务器端的主机名称。 port指的是服务器的监测端口。 delimiter和maxRetry两个参数scala接口暂时不支持设置。 def addSource[T: