检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
(可选)创建MapReduce样例工程 操作场景 除了导入MapReduce样例工程,您还可以使用IntelliJ IDEA新建一个MapReduce工程。 操作步骤 打开IntelliJ IDEA工具,选择“File > New > Project”,如图1所示。 图1 创建工程
Spark Core样例程序(Scala) 功能简介 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 代码样例 下面代码片段仅为演示,具体代码参见com.huawei.bigdata.spark.examples.FemaleInfoCollection: 样例:类CollectMapper
Spark Core样例程序(Python) 功能简介 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 代码样例 下面代码片段仅为演示,具体代码参见collectFemaleInfo.py: def contains(str, substr): if substr
两个文件上传客户端所在服务器上。 通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 编译打包前,样例代码中的user.keytab、krb5.conf文件路径需要修改为该文件所在客户端服务器的实际路径。例如:“/opt/female/user
SparkSQL UDF功能的权限控制机制 问题 SparkSQL中UDF功能的权限控制机制是怎样的? 回答 目前已有的SQL语句无法满足用户场景时,用户可使用UDF功能进行自定义操作。 为确保数据安全以及UDF中的恶意代码对系统造成破坏,SparkSQL的UDF功能只允许具备a
配置Spark Python3样例工程 操作场景 为了运行MRS产品Spark2x组件的Python3接口样例代码,需要完成下面的操作。 操作步骤 客户端机器必须安装有Python3,其版本不低于3.6。 在客户端机器的命令行终端输入python3可查看Python版本号。如下显示Python版本为3
使用REST接口操作HBase表 功能简介 使用REST服务,传入对应host与port组成的url以及指定的tableName和jsonHTD,通过HTTP协议,进行查询表信息,修改表,创建表以及删除表的操作。 代码样例 方法调用 // Add a table with specified
(可选)创建MapReduce样例工程 操作场景 除了导入MapReduce样例工程,您还可以使用IntelliJ IDEA新建一个MapReduce工程。 操作步骤 打开IntelliJ IDEA工具,选择“File > New > Project”,如图1所示。 图1 创建工程
通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“ /opt/female/” )下。 运行任务 进入Spark客户端目录,调用bin/spark-submit脚本运行
Spark Core样例程序(Python) 功能简介 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 代码样例 下面代码片段仅为演示,具体代码参见collectFemaleInfo.py: def contains(str, substr): if substr
通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“ /opt/female/” )下。 运行任务 进入Spark客户端目录,调用bin/spark-submit脚本运行
如何添加自定义代码的依赖包 问题 用户在开发Spark程序时,会添加样例程序外的自定义依赖包。针对自定义代码的依赖包,如何使用IDEA添加到工程中? 回答 在IDEA主页面,选择“File > Project Structures...”进入“Project Structure”页面。
准备Eclipse与JDK 选择Windows开发环境下,安装Eclipse,安装JDK。 开发环境安装Eclipse程序,安装要求Eclipse使用4.2或以上版本。 开发环境安装JDK程序,安装要求JDK使用1.8版本。 若使用IBM JDK,请确保Eclipse中的JDK配置为IBM
连接数较多时,请确认连接的必要性,否则会对服务的性能造成影响,甚至可能造成服务不可用。 等待两分钟,在告警列表中查看该告警是否清除。 是,处理完毕。 否,执行5。 收集故障信息。 在FusionInsight Manager界面,选择“运维 > 日志 > 下载”。 在“服务”中勾选“Doris”,单击“确定”。
HoodieDeltaStreamer 编写自定义的转化类实现Transformer。 编写自定义的Schema实现SchemaProvider。 在执行HoodieDeltaStreamer时加入参数: --schemaprovider-class 定义的schema类 --transformer-class
Flink Jar作业提交SQL样例程序(Java) 提交SQL的核心逻辑如下,目前只支持提交CREATE和INSERT语句。完整代码参见com.huawei.bigdata.flink.examples.FlinkSQLExecutor。 public class FlinkSQLExecutor
MapReduce统计样例代码 功能介绍 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 主要分为三个部分: 从原文件中筛选女性网民上网时间数据信息,通过类CollectionMapper继承Mapper抽象类实现。 汇总每个女性上网时间,并输出时间大于两个小时的
卸载UDF 语法 DROP FUNCTION <UDF-NAME> 示例 在IoTDB客户端执行以下命令,卸载名称为“example”的UDF。 DROP FUNCTION example 父主题: 在IoTDBServer节点调测UDF应用
卸载UDF 语法 DROP FUNCTION <UDF-NAME> 示例 在IoTDB客户端执行以下命令,卸载名称为“example”的UDF。 DROP FUNCTION example 父主题: 在IoTDBServer节点调测UDF应用
查询HBase全局二级索引信息 功能简介 通过调用“org.apache.hadoop.hbase.hindex.global.GlobalIndexAdmin”中的方法进行HBase全局二级索引的管理,该类中listIndices用于查询索引信息,可以获取当前用户表所有相关索引的定义及索引状态。