检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
主)”打开“Loader WebUI”界面。 图1 Loader WebUI界面 单击“导出”,进入作业导出界面。 在“选择导出类型”中选择删除作业类型。 “所有”:表示导出当前所有的作业。 “指定作业”:表示指定需要导出的作业。选择“指定作业”,在作业列表中勾选需要导出的作业。
原因分析 用户登录Master节点执行命令之前,未设置环境变量。 处理步骤 以root用户登录任意一个Master节点。 执行source 客户端安装目录/bigdata_env命令,设置环境变量。 执行hdfs命令即可成功使用HDFS客户端。 父主题: 使用HDFS
Ranger常见问题 安装集群过程中Ranger启动失败 如何判断某个服务是否使用了Ranger鉴权 新创建用户修改完密码后无法登录Ranger Ranger界面添加或者修改HBase策略时,无法使用通配符搜索已存在的HBase表 在Ranger管理界面查看不到创建的MRS用户
描述:返回由x的所有输入值组成的tdigest。x可以是任何数值类型。 tdigest_agg(x,w)->tdigest 描述:返回由x的所有输入值(使用每项权重w)组成的tdigest。w必须大于或等于1。x和w可以是任何数值类型。 父主题: HetuEngine SQL函数和操作符说明
ON:源表和目标表匹配的条件。 WHEN: 数据更新条件。 insert into ... select ...;语法中不支持可空字段类型的数据插入到非空字段类型。 使用示例 向表中插入数据: INSERT INTO prod.db.table VALUES (1, 'a'), (2, 'b');
单击“作业迁移”,进入作业迁移界面。 在“源分组”中选择待迁移作业当前所属分组,在“目标分组”中选择待迁移作业的目标分组。 在“选择迁移类型”中选择迁移类型。 “所有”:将源分组所有作业迁移到目标分组。 “指定作业”:将源分组中指定的作业迁移到目标分组。选择“指定作业”,在作业列表中勾选需要迁移的作业。
执行Yarn客户端命令查询历史作业报错,进程被终止。具体错误如下: 原因分析 客户端分配内存不足,导致提交命令报错。 处理步骤 以root用户登录HDFS客户端安装节点。 执行以下命令编辑文件。 vim /opt/client/HDFS/component_env 调大参数“ export GC_OP
不带参数调用大多数命令时会显示帮助信息。 Superior resourcepool命令: 该命令显示Resource Pool和相关策略的相关状态以及配置信息。 Superior resourcepool命令仅用于管理员用户及拥有yarn管理权限的用户。 用法输出: >superior resourcepool
不涉及 请求参数 表2 请求Body参数 参数 是否必选 参数类型 描述 tag 是 Tag object 参数解释: 集群标签。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 表3 Tag 参数 是否必选 参数类型 描述 key 是 String 参数解释: 标签的键。
不带参数调用大多数命令时会显示帮助信息。 Superior resourcepool命令: 该命令显示Resource Pool和相关策略的相关状态以及配置信息。 Superior resourcepool命令仅用于管理员用户及拥有yarn管理权限的用户。 用法输出: >superior resourcepool
/opt/example/” )下。 运行任务 登录Spark客户端节点,执行如下命令: source 客户端安装目录/bigdata_env source 客户端安装目录/Hudi/component_env 编译构建样例代码后可以使用spark-submit提交命令,执行命令
Sqoop任务运行成功,但HDFS中的CSV文件无内容。 原因分析 由于jar包冲突或者缺少相关jar包导致。 处理步骤 进入Sqoop的安装目录下查找文件。 进入Sqoop节点的“/opt/Bigdata/MRS_1.9.2/install/FusionInsight-Sqoop-1
主)”打开“Loader WebUI”界面。 图1 Loader WebUI界面 单击“导出”,进入作业导出界面。 在“选择导出类型”中选择删除作业类型。 “所有”:表示导出当前所有的作业。 “指定作业”:表示指定需要导出的作业。选择“指定作业”,在作业列表中勾选需要导出的作业。
Storm应用开发简介 简介 Storm是一个分布式的、可靠的、容错的数据流处理系统。它会把工作任务委托给不同类型的组件,每个组件负责处理一项简单特定的任务。Storm的目标是提供对大数据流的实时处理,可以可靠地处理无限的数据流。 Storm有很多适用的场景:实时分析、在线机器学
combineByKey() : RDD[(K, V)] => RDD[(K, C)],是将RDD[(K, V)]中key相同的数据的所有value转化成为一个类型为C的值。 groupByKey() 和reduceByKey()是combineByKey的两种具体实现,对于数据聚合比较复杂而grou
不带参数调用大多数命令时会显示帮助信息。 Superior resourcepool命令: 该命令显示Resource Pool和相关策略的相关状态以及配置信息。 Superior resourcepool命令仅用于管理员用户及拥有yarn管理权限的用户。 用法输出: >superior resourcepool
不带参数调用大多数命令时会显示帮助信息。 Superior resourcepool命令: 该命令显示Resource Pool和相关策略的相关状态以及配置信息。 Superior resourcepool命令仅用于管理员用户及拥有yarn管理权限的用户。 用法输出: >superior resourcepool
1/hadoop-yarn/hadoop-yarn-site/WebServicesIntro.html 准备运行环境 在节点上安装客户端,例如安装到“/opt/client”目录。 进入客户端安装目录“/opt/client”,执行下列命令初始化环境变量。 source bigdata_env 操作步骤
Storm应用开发简介 简介 Storm是一个分布式的、可靠的、容错的数据流处理系统。它会把工作任务委托给不同类型的组件,每个组件负责处理一项简单特定的任务。Storm的目标是提供对大数据流的实时处理,可以可靠地处理无限的数据流。 Storm有很多适用的场景:实时分析、在线机器学
本指南主要适用于具备Java开发经验的开发人员。 简介 Storm是一个分布式的、可靠的、容错的数据流处理系统。它会把工作任务委托给不同类型的组件,每个组件负责处理一项简单特定的任务。Storm的目标是提供对大数据流的实时处理,可以可靠地处理无限的数据流。 Storm有很多适用