检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
everyone.if.no.acl.found”参数值设置为true； 如果不设置此参数，操作会报错。 Kafka集群broker实例IP获取方法如下： 登录FusionInsight Manager，然后选择“集群 > 服务 > Kafka”。单击“实例”，查看Kafka角色实例的IP地址。
Standby NameNode：与Active NameNode中的数据保持同步；随时准备在Active NameNode出现异常时接管其服务。 Observer NameNode：与Active NameNode中的数据保持同步，处理来自客户端的读请求。 DataNode 用于存储每个文
理员处获取，具体权限要求请参见表2。用户运行样例程序，需要在default数据库中有CREATE权限。 表2 操作权限要求 操作类型/作用对象 操作 权限要求 DATABASE CREATE DATABASE dbname [LOCATION "hdfs_path"] 如果指定了
图1 示例 创建一个从SFTP服务器导入数据到HDFS的Loader作业，具体操作请参见典型场景：从SFTP服务器导入数据到HDFS/OBS。 使用安装客户端的用户登录客户端所在节点。 执行以下命令，进入schedule-tool工具的conf目录。例如，Loader客户端安装
图1 示例 创建一个从SFTP服务器导入数据到HDFS的Loader作业，具体操作请参见使用Loader从SFTP服务器导入数据到HDFS/OBS。 使用安装客户端的用户登录客户端所在节点。 执行以下命令，进入schedule-tool工具的conf目录。例如，Loader客户端安装
Spark、Presto、Mapreduce 和 Apache Hive的计算框架提供了数据抽象层，使上层的计算应用可以通过统一的客户端API和全局命名空间访问包括HDFS和OBS在内的持久化存储系统，从而实现了对计算和存储的分离。 商用 Alluxio简介 3 MRS支持Tez组件 Tez是Apache最新的支持D
下列代码片段在样例工程中com.huawei.bigdata.spark.examples包的FemaleInfoCollection类的main方法中。 基本安全认证： Spark Core和Spark SQL程序不需要访问HBase或ZooKeeper，所以使用基本的安全认证代码即可
spark.examples.hbasecontext.JavaHBaseMapPartitionExample') # 创建类实例并调用方法，传递sc._jsc参数 spark._jvm.JavaHBaseMapPartitionExample().execute(spark._jsc
'com.huawei.bigdata.spark.examples.datasources.AvroSource') # 创建类实例并调用方法，传递sc._jsc参数 spark._jvm.AvroSource().execute(spark._jsc) # 停止SparkSession
'com.huawei.bigdata.spark.examples.datasources.AvroSource') # 创建类实例并调用方法，传递sc._jsc参数 spark._jvm.AvroSource().execute(spark._jsc) # 停止SparkSession
下列代码片段在样例工程中com.huawei.bigdata.spark.examples包的FemaleInfoCollection类的main方法中。 基本安全认证： Spark Core和Spark SQL程序不需要访问HBase或ZooKeeper，所以使用基本的安全认证代码即可
kafka集群broker实例IP2:9092,kafka集群broker实例IP3:9092。 Kafka集群Broker实例IP获取方法如下： 登录FusionInsight Manager页面，选择“集群 > 服务 > Kafka”。单击“实例”，查看Kafka角色实例的IP地址。
算子输入、输出参数设置 输入类型 输出类型 CSV文件输入 Hive输出 HTML输入 Hive输出 固定宽度文件输入 Hive输出 图3 算子操作方法示意 设置数据保存信息并运行作业 单击“下一步”，进入“输出设置”界面，在“存储类型”选择“HIVE”，设置数据保存方式。 表4 输出设置参数
作。算子的选择和参数设置具体请参考算子帮助及表3。 表3 算子输入、输出参数设置 输入类型 输出类型 表输入 Hive输出 图3 算子操作方法示意 设置数据保存信息并运行作业 单击“下一步”，进入“输出设置”界面，在“存储类型”选择“HIVE”，设置数据保存方式。 表4 输出设置参数
择和参数设置具体请参考Loader算子帮助及表3。 表3 算子输入、输出参数设置 输入类型 输出类型 表输入 Hive输出 图3 算子操作方法示意 设置数据保存信息并运行作业 单击“下一步”，进入“输出设置”界面，在“存储类型”选择“HIVE”，设置数据保存方式。 表4 输出设置参数
--yarnapplicationId <arg>：绑定YARN session。 -h：获取帮助。 强制停止一个运行中的Job（仅支持streaming jobs、业务代码 source 端需要 implements StoppableFunction） flink cancel -m,--jobmanager
--yarnapplicationId <arg>：绑定YARN session。 -h：获取帮助。 强制停止一个运行中的Job（仅支持streaming jobs、业务代码 source 端需要 implements StoppableFunction） flink cancel -m,--jobmanager
spark.examples.hbasecontext.JavaHBaseMapPartitionExample') # 创建类实例并调用方法，传递sc._jsc参数 spark._jvm.JavaHBaseMapPartitionExample().execute(spark._jsc
何处理。 说明： 文件类型选择“TEXT_FILE”或“SEQUENCE_FILE”导入时，Loader会自动根据文件的后缀选择对应的解压方法，对文件进行解压。 TEXT_FILE 文件分割方式 选择按文件或大小分割源文件，作为数据导出的MapReduce任务中各个map的输入文件。
算子输入、输出参数设置 输入类型 输出类型 CSV文件输入 Hive输出 HTML输入 Hive输出 固定宽度文件输入 Hive输出 图3 算子操作方法示意 设置数据保存信息并运行作业 单击“下一步”，进入“输出设置”界面，在“存储类型”选择“HIVE”，设置数据保存方式。 表4 输出设置参数
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
