检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
SQL功能和DataFrame的主入口。 pyspark.sql.DataFrame：是一个以命名列方式组织的分布式数据集。 pyspark.sql.HiveContext：获取存储在Hive中数据的主入口。 pyspark.sql.DataFrameStatFunctions：统计功能中一些函数。 pyspark
SQL功能和DataFrame的主入口。 pyspark.sql.DataFrame：是一个以命名列方式组织的分布式数据集。 pyspark.sql.HiveContext：获取存储在Hive中数据的主入口。 pyspark.sql.DataFrameStatFunctions：统计功能中一些函数。 pyspark
管理IP地址以及对应的“broker.id”，该值可通过单击角色名称，在“实例配置”页面中选择“全部配置”，搜索“broker.id”参数获取。 以root用户登录记录的管理IP地址，并执行df -lh命令，查看磁盘占用率为100%的挂载目录，例如“${BIGDATA_DATA_HOME}/kafka/data1”。
解决Spark任务报错ArrayIndexOutOfBoundsException的问题。 解决API模式提交Spark SQL作业，查询自定义UDF函数获取的USER为空，任务报空指针报错的问题。 解决Spark代码中调用fs.delete接口删除表中的数据，需要修改为moveToTrash的问题。
进入hbase shell，创建表ImportTable并创建“configuration.xml”文件（该文件可以参考模板文件进行编辑，模板文件获取路径为：“/opt/client/HBase/hbase/conf/import.xml.template”）。 例如执行以下命令建表： create
java:239) ... 3 more 回答 客户端拼接出的HTTP的principal与Kerberos数据库中的不一致（报错1）或获取的token无法链接Presto。 在集群上执行cat /etc/hosts，将Presto coordinator的IP和hostnam
SQL功能和DataFrame的主入口。 pyspark.sql.DataFrame：是一个以命名列方式组织的分布式数据集。 pyspark.sql.HiveContext：获取存储在Hive中数据的主入口。 pyspark.sql.DataFrameStatFunctions：统计功能中一些函数。 pyspark
具体操作可参考添加Hive的Ranger访问权限策略。 前提条件 完成Hive客户端的安装。例如安装目录为“/opt/client”。 获取一个拥有管理员权限的用户，例如“admin”。 操作步骤 MRS 3.x之前版本，Hive关联Yarn 用户如果执行insert，count，distinct，group
cp /tmp/MRS-client/MRS_Services_Client.tar /opt 在“/opt”目录执行以下命令，解压压缩包获取校验文件与客户端配置包。 tar -xvf MRS_Services_Client.tar 执行以下命令，校验文件包。 sha256sum
SQLContext：是Spark SQL功能和DataFrame的主入口。 DataFrame：是一个以命名列方式组织的分布式数据集。 HiveContext：获取存储在Hive中数据的主入口。 表6 常用的Actions方法 方法 说明 collect(): Array[Row] 返回一个数组，包含DataFrame的所有列。
<kafkaProtocol> <kafkaService> <kafkaDomain>。 <kafkaBootstrapServers>指获取元数据的Kafka地址。 <maxEventDelay>指数据从生成到被流处理引擎的最大延迟时间。 <reqTopic>指请求事件的topic名称。
SQLContext：是Spark SQL功能和DataFrame的主入口。 DataFrame：是一个以命名列方式组织的分布式数据集。 HiveContext：获取存储在Hive中数据的主入口。 表6 常用的Actions方法 方法 说明 collect(): Array[Row] 返回一个数组，包含DataFrame的所有列。
<kafkaProtocol> <kafkaService> <kafkaDomain>，其中<kafkaBootstrapServers>指获取元数据的Kafka地址（需使用21007端口），<maxEventDelay>指数据从生成到被流处理引擎的最大延迟时间，<reqTopic
Client会在内存中缓存“hbase:meta”和用户表Region的信息，当应用程序发起下一次数据操作时，HBase Client会首先从内存中获取这些信息；当未在内存缓存中找到对应数据信息时，HBase Client会重复上述操作。 父主题： HBase
管理IP地址以及对应的“broker.id”，该值可通过单击角色名称，在“实例配置”页面中选择“全部配置”，搜索“broker.id”参数获取。 以root用户登录记录的管理IP地址，并执行df -lh命令，查看磁盘占用率为100%的挂载目录，例如“${BIGDATA_DATA_HOME}/kafka/data1”。
SQLContext：是Spark SQL功能和DataFrame的主入口。 DataFrame：是一个以命名列方式组织的分布式数据集。 HiveContext：获取存储在Hive中数据的主入口。 表6 常用的Actions方法 方法 说明 collect(): Array[Row] 返回一个数组，包含DataFrame的所有列。
查看Linux调测结果 HBase应用程序运行完成后可通过如下方式查看应用程序的运行情况。 通过运行结果查看应用程序运行情况。 通过HBase日志获取应用程序运行情况。 登录HBase WebUI查看应用程序运行情况。可参见“更多信息 > 对外接口 > Web UI ”。 通过HBase
SQLContext：是Spark SQL功能和DataFrame的主入口。 DataFrame：是一个以命名列方式组织的分布式数据集。 HiveContext：获取存储在Hive中数据的主入口。 表6 常用的Actions方法 方法 说明 collect(): Array[Row] 返回一个数组，包含DataFrame的所有列。
指南操作指导及样例工程开发并运行调测自己的应用程序。您也可以通过API调用完成MRS集群管理、作业执行等相关操作，您可以参考《API参考》获取详情。
Build”开始生成Jar包。 图5 Build 当Event log中出现如下类似日志时，表示Jar包生成成功。您可以从1.c中配置的路径下获取到Jar包。 21:25:43 Compilation completed successfully in 36 sec 将2中生成的Ja
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
