正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
rget下生成含有“flink-dws-sink-example-1.0.0-SNAPSHOT”字段的Jar包。 在Linux上进入客户端安装目录,如“/opt/client/Flink/flink/conf”作为作为运行目录,将1中生成的“target”目录下包名中含有“fli
Impala应用开发简介 Impala简介 Impala直接对存储在HDFS,HBase 或对象存储服务(OBS)中的Hadoop数据提供快速,交互式SQL查询。除了使用相同的统一存储平台之外,Impala还使用与Apache Hive相同的元数据,SQL语法(Hive SQL)
servers Kafka的Broker实例业务IP和端口。 192.168.12.25:21005 specific_jars “客户端安装目录/Flink/flink/lib/flink-connector-kafka-*.jar”包路径,建议写全路径。 说明: 当作业需要以
Impala应用开发简介 Impala直接对存储在HDFS、HBase或对象存储服务(OBS)中的Hadoop数据提供快速、交互式SQL查询。除了使用相同的统一存储平台之外,Impala还使用与Apache Hive相同的元数据、SQL语法(Hive SQL)、ODBC驱动程序和
Impala应用开发简介 Impala直接对存储在HDFS,HBase 或对象存储服务(OBS)中的Hadoop数据提供快速,交互式SQL查询。除了使用相同的统一存储平台之外,Impala还使用与Apache Hive相同的元数据,SQL语法(Hive SQL),ODBC驱动程序
rget下生成含有“flink-dws-sink-example-1.0.0-SNAPSHOT”字段的Jar包。 在Linux上进入客户端安装目录,如“/opt/client/Flink/flink/conf”作为作为运行目录,将1中生成的“target”目录下包名中含有“fli
servers Kafka的Broker实例业务IP和端口。 192.168.12.25:21005 specific_jars “客户端安装目录/Flink/flink/lib/flink-connector-kafka-*.jar”包路径,建议写全路径。 说明: 当作业需要以
创建数据连接 功能介绍 创建数据连接 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/data-connectors 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 参数解释: 项目编号。获取方法,请参见获取项目ID。
fo会执行kill -3将jstack信息打印到.out日志文件里,从而导致.out日志文件过大。 处理步骤 在每个HBase实例的节点上部署定期清理.out日志文件的定时任务。后台登录HBase的实例节点,在crontab -e中添加每天0点清理.out日志的定时任务。 crontab
提供内存级I/O 吞吐率,同时降低具有弹性扩张特性的数据驱动型应用的成本开销 简化云存储和对象存储接入 简化数据管理,提供对多数据源的单点访问 应用程序部署简易 Alluxio 接口开发简介 Alluxio支持使用Java进行程序开发,具体的API接口内容请参考https://docs.alluxio
提供内存级I/O吞吐率,同时降低具有弹性扩张特性的数据驱动型应用的成本开销 简化云存储和对象存储接入 简化数据管理,提供对多数据源的单点访问 应用程序部署简易 有关Alluxio的详细信息,请参见:https://docs.alluxio.io/os/user/stable/cn/Overview
试使用combineInputFormat来减少任务读取的文件数量。 增大hadoop命令执行时的内存,该内存在客户端中设置,修改“客户端安装目录/HDFS/component_env”文件中“CLIENT_GC_OPTS”的“-Xmx”参数,将该参数的默认值改大,比如改为512m。然后执行source
/random”的读操作将被阻塞,直到熵池收集到足够的环境噪声数据,导致提交任务慢或者失败。 处理步骤 在集群外客户端所在节点执行以下命令安装rng-tools工具: yum install rng-tools 执行以下命令启动rng-tools: systemctl start
nfo会执行kill -3将jstack信息打印到.out日志文件里,从而导致.out日志文件过大。 处理步骤 在每个HDFS实例的节点上部署定期清理.out日志文件的定时任务。后台登录HDFS的实例节点,在crontab -e中添加每天0点清理.out日志的定时任务。 crontab
释放。 解决办法 该解决办法以20051端口被占用为例,20050端口被占用的解决办法与该办法类似。 以root用户登录DBService安装报错的节点主机,执行命令:netstat -nap | grep 20051查看占用20051端口的进程。 使用kill命令强制终止使用20051端口的进程。
ALM-14033 ZKFC进程状态异常 告警解释 ZKFC每20秒周期性检查进程状态,当进程状态异常,且长时间未转换为正常状态时触发该告警。 进程状态正常后告警清除。 告警属性 告警ID 告警级别 是否可自动清除 14033 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。
认证鉴权 调用接口有如下两种认证方式,您可以选择其中一种进行认证鉴权。 AK/SK认证:通过AK(Access Key ID)/SK(Secret Access Key)加密调用请求。 Token认证:通过Token认证通用请求。 AK/SK认证 AK/SK签名认证方式仅支持消息
批量导出Loader作业 操作场景 Loader支持批量导出已有作业。 前提条件 当前用户具备待导出作业的编辑“Edit”权限或作业所在分组的编辑“Jobs Edit”权限。 操作步骤 登录“Loader WebUI”界面。 登录FusionInsight Manager系统,具体请参见访问集群Manager。
可根据关键字字段进行筛选。 表1 Audit信息 页签 内容描述 Access 当前MRS不支持在线查看组件资源的审计日志信息,可登录组件安装节点,进入“/var/log/Bigdata/audit”目录下查看各组件的审计日志。 Admin Ranger上操作审计信息,例如安全访
HDFS访问OBS 功能简介 访问OBS过程为: 设置“fs.obs.access.key”和“fs.obs.secret.key”。 由此FileSystem实例可以读取、新增和删除各类资源。 不支持追加操作。 前提条件 对接OBS前需要提前在OBS服务中创建相关目录,并确保访问用户具有对应目录的访问操作权限。