正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
更新数据连接 功能介绍 更新数据连接 调用方法 请参见如何调用API。 URI PUT /v2/{project_id}/data-connectors/{connector_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 参数解释:
修改hostname后导致WebHCat启动失败 问题背景与现象 用户修改hostname导致WebHCat启动失败。 查看对应节点WebHCat启动日志( /var/log/Bigdata/hive/webhcat/hive.log),发现报如下错误: 原因分析 MRS Web
空值转换 概述 “空值转换”算子,用于将空值替换成指定值。 输入与输出 输入:空值字段 输出:原字段,但值已经被替换 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 输入字段名 配置可能出现空值的字段名,需填写已生成的字段名。 string 是 无 替换值 配置替换空值的指定值。
计费项 MRS集群的计费项由MRS服务管理费用和IaaS基础设施资源费用(弹性云服务器、云硬盘)组成。 图1 MRS费用组成 具体内容如表1所示。 表1 MRS集群计费项 计费项 计费项说明 适用的计费模式 计费公式 MRS服务管理费用 计费因子:MRS服务管理,以核为单位计费,每个Region计费不相同。包括:
map,数据保存至输出目录时保存的文件数与map数量相同,文件名格式为“import_part_xxxx”,“xxxx”为系统生成的随机数,具有唯一性。 FILE Map数 配置数据操作的MapReduce任务中同时启动的Map数量。不可与“Map数据块大小”同时配置。参数值必须小于或等于3000。
/srv/BigData/data4”目录下。如果当前节点只挂载了3块数据盘,则data4与data2下的目录合并。如果只挂载了2块数据盘,则data3与data1下的目录合并,data4与data2下的目录合并。 例如,ZooKeeper节点上有4块数据盘,则ZooKeeper
至少需要包含大写字母、小写字母、数字、特殊字符~`!@#$%^&*()-+_=\|[{}];",<.>/?中的3种类型字符。 不可和用户名相同或用户名的倒序字符相同。 不可与前20个历史密码相同。 勾选“我已阅读此信息并了解其影响”,单击“确定”。 密码修改完成后,选择“更多 > 重启服务”,在弹出窗口中输入当前
F,如果不及时同步元数据信息,连接HiveServer1的客户端也会提示上述错误信息。 可能原因 多个HiveServer之间或者Hive与Spark之间共用的元数据未同步,导致不同HiveServer实例内存数据不一致,造成UDF不生效。 解决方案 需要将新建的UDF信息同步到
由于主备Master节点时间未同步导致ZooKeeper服务不可用 问题背景与现象 MRS集群ZooKeeper服务无法启动,出现ZooKeeper服务不可用告警。 原因分析 以root用户登录主、备Master节点,执行ntpq -p命令查看两节点时间未同步。 解决办法 以ro
随机值转换 概述 “随机值转换”算子,用于配置新增值为随机数的字段。 输入与输出 输入:无 输出:随机值字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 输出字段名 配置生成随机值的字段名。 string 是 无 长度 配置字段长度。 map 是 无 类型
8版本的JDK 3. 获取客户端安装包MRS_Services_Client.tar 操作场景 在Linux上安装客户端。 操作步骤 客户端机器的时间与Hadoop集群的时间要保持一致(手动修改客户端机器或者集群的时间),时间差小于5分钟。 MRS集群的时间可通过登录主管理节点(集群管理IP地址所在节点)运行date命令查询。
文件,文件生成后默认保存在主管理节点“/tmp/FusionInsight-Client”。支持自定义其他目录且omm用户拥有目录的读、写与执行权限。然后执行4。 否,单击“确定”指定本地的保存位置,开始下载完整客户端,等待下载完成,然后执行4。 使用WinSCP工具,以客户端安
HTML输入 概述 “HTML输入”算子,导入有规则的HTML文件,并将HTML文件中的元素转换成输入字段。 输入与输出 输入:HTML文件 输出:多个字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 父标签 所有字段的上层HTML标签,用于限定搜索范围。 string
Windows系统,支持Windows 7以上版本。 本地开发环境需要和集群业务平面网络互通。 安装JDK 开发和运行环境的基本配置,版本要求如下: JDK版本号应该与用户要访问的FusionInsight Manager使用的版本号一致,具体的版本号可以查看对应版本文档或咨询系统管理员。 例如FusionInsight
效率。用户不仅可以使用HBase中预定义好的过滤器,而且可以实现自定义的过滤器。 协处理器 允许用户执行region级的操作,并且可以使用与RDBMS中触发器类似的功能。 Client 客户端直接面向用户,可通过Java API或HBase Shell访问服务端,对HBase的表
HDFS客户端安装在数据节点导致数据分布不均衡 问题背景与现象 HDFS的DataNode数据分布不均匀,在某节点上磁盘使用率很高,甚至达到100%,其他节点空闲很多。 原因分析 客户端安装在该节点,根据HDFS数据副本机制,第一个副本会存放在本地机器,最终导致节点磁盘被占满,而其他节点空闲很多。
Hive实例分为Hiveserver和Metastore两种,健康状态有Good,Concerning ,Unknown三种状态,这三种状态是通过jmx通信来判定,与实例通信正常时为Good,通信异常时为Concerning,无法通信时为Unknown。 父主题: 使用Hive
集群修改域名后Hive样例程序运行报错 问题背景与现象 Hive的二次开发代码样例运行报No rules applied to ****的错误: 原因分析 Hive的二次开发样例代码会加载core-site.xml,此文件默认是通过classload加载,所以使用的时候要把此配置
对同一张表或分区并发写数据导致任务失败 问题背景与现象 Hive执行插入语句时,报错HDFS上文件或目录已存在或被清除,具体报错如下: 原因分析 根据HiveServer的审计日志,确认该任务的开始时间和结束时间。 在上述时间区间内,查找是否有对同一张表或分区进行插入数据的操作。
空值转换 概述 “空值转换”算子,用于将空值替换成指定值。 输入与输出 输入:空值字段 输出:原字段,但值已经被替换 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 输入字段名 配置可能出现空值的字段名,需填写已生成的字段名。 string 是 无 替换值 配置替换空值的指定值。