检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如果From是sftp/ftp/obs/hdfs等文件类型连接器,Field Mapping 样值取自文件第一行数据,需要保证第一行数据是完整的,Loader作业不会抽取没有Mapping上的列。 在“任务配置”填写作业的运行参数。
Instead, use dfs.bytes-per-checksum 2018-05-08 21:29:17,687 INFO [main] mapreduce.JobSubmitter: Submitting tokens for job: job_1525338489458
MRS 1.9.3.9及之后版本补丁说明 MRS 1.9.3.11补丁说明 补丁号 MRS 1.9.3.11 发布时间 2024-02-10 安装前处理 安装此补丁前,如果之前有装过MRS_1x2x_Patch_Diskmgt_20230308.tar.gz补丁,需要先卸载该补丁,
HetuEngine应用开发简介 HetuEngine简介 HetuEngine是华为自研高性能交互式SQL分析及数据虚拟化引擎。与大数据生态无缝融合,实现海量数据秒级交互式查询;支持跨源跨域统一访问,使能数据湖内、湖间、湖仓一站式SQL融合分析。 HetuEngine基本概念 HSBroker
在Windows中调测Hive JDBC应用 JDBC客户端的命令行形式运行 运行样例。 依照准备Hive JDBC开发环境中导入和修改样例后,并从集群的任一Master节点的路径“/opt/client/Hive/config/hiveclient.properties”下获取“
Instead, use dfs.bytes-per-checksum 2018-05-08 21:29:17,687 INFO [main] mapreduce.JobSubmitter: Submitting tokens for job: job_1525338489458
MRS集群运维说明 账户维护建议 建议系统管理员对账户例行检查,检查的内容包括: 操作系统、Manager以及各组件的账户是否有必要,临时账户是否已删除。 各类账户的权限是否合理。不同的管理员拥有不同的权限。 对各类账户的登录、操作记录进行检查和审计。 密码维护建议 用户身份验证是应用系统的门户
=COMPLETED os=COMPLETED is=IDLE awp=false se=false i=false al=0},r=1,c=true/true,a=IDLE,uri=https://10.244.224.65:21495/api/v1/cdl/monitor/jobs
如果NTP服务器与集群当前时间偏差大于15分钟,集群访问OBS会连接失败。 对于开启Kerberos认证集群,如果NTP服务器与集群当前时间偏差大于5分钟,会导致认证失败。 修改MRS集群NTP服务器 登录FusionInsight Manager,查看是否存在未清除的告警?
使用约束 Scan算子当前支持的数据类型为:Boolean、Integer、Long、Float、Double、String、Date、Decimal 支持的数据格式:parquet、orc 支持的文件系统:obs、hdfs 支持的机型: AMD64、ARM 支持的场景:spark-sql
-85c9-4c05-bd0a-4cb786937a09", "status" : "GA", "features" : [ "anti_affinity", "auto_scaling", "bootstrap_scripts", "bootstrap_support_obs
Kafka基本原理 Kafka是一个分布式的、分区的、多副本的消息发布-订阅系统,它提供了类似于JMS的特性,但在设计上完全不同,它具有消息持久化、高吞吐、分布式、多客户端支持、实时等特性,适用于离线和在线的消息消费,如常规的消息收集、网站活性跟踪、聚合统计系统运营数据(监控数据)
存算分离场景对接OBS文件系统时,也能够支持TASK容错,但是中间数据仍然落盘至HDFS临时目录中。
/jobs/spark/spark-examples_2.11-2.1.0.jar, 10000]", "launcher_id" : "application_1564622673393_0006", "app_id" : "application_1564622673393
ExistingJobStatus 已存在的Label对应的导入作业的状态。 该字段只有当Status为"Label Already Exists"时才显示。
表2 操作权限要求 操作类型/作用对象 操作 权限要求 DATABASE CREATE DATABASE dbname [LOCATION "hdfs_path"] 如果指定了HDFS路径hdfs_path,需要是路径hdfs_path的所有者和具有RWX权限。
编译并运行HBase应用 在程序代码完成开发后,您可以在Windows开发环境中运行应用。 操作步骤 在windows下使用REST API操作HBase集群时,JDK版本需为jdk1.8.0_60及以上版本。从集群环境中获取jdk的cacerts文件,并拷贝“/opt/Bigdata
MRS 1.9.3.1补丁说明 补丁基本信息 表1 补丁基本信息 补丁号 MRS 1.9.3.1 发布时间 2020-09-04 解决的问题 MRS Manager 解决自定义集群缩容Task节点失败问题 MRS大数据组件 解决Hive和Spark路径下adapter-hadoop-wrapper-file-system
为了解决上述场景下对搬迁能力的要求,MRS提供了ClickHouse集群数据一键式工具搬迁能力,将源集群中的ClickHouse数据库、表对象DDL、业务数据迁移到新建集群中。
如何解除网络ACL的关联子网 操作场景 用户可根据自身网络需求,解除网络ACL与子网的关联关系。 操作步骤 登录管理控制台。 在服务列表中单击“网络 > 虚拟私有云”。 在左侧导航栏单击“访问控制 > 网络ACL”。 在右侧在“网络ACL”列表区域,选择网络ACL的名称列,单击您需要修改的网络