检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
UDF功能的权限控制机制 问题 SparkSQL中UDF功能的权限控制机制是怎样的？ 回答 目前已有的SQL语句无法满足用户场景时，用户可使用UDF功能进行自定义操作。 为确保数据安全以及UDF中的恶意代码对系统造成破坏，SparkSQL的UDF功能只允许具备admin权限的用户注册
选择“Libraries”页签，然后在如下页面，单击“+”，添加本地的依赖包。 图1 添加依赖包 单击“Apply”加载依赖包，然后单击“OK”完成配置。 由于运行环境不存在用户自定义的依赖包，您还需要在编包时添加此依赖包。以便生成的jar包已包含自定义的依赖包，确保Spark程序能正常运行。 在“Project
MapReduce统计样例程序开发思路 场景说明 假定用户有某个周末网民网购停留时间的日志文本，基于某些业务要求，要求开发MapReduce应用程序实现如下功能： 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 周末两天的日志文件第一列为姓名，第二列为性别，第三列为本次停留时间，单位为分钟，分隔符为“
使用Spark执行Hudi样例程序（Java） 下面代码片段仅为演示，具体代码参见：com.huawei.bigdata.hudi.examples.HoodieWriteClientExample 创建客户端对象来操作Hudi： String tablePath = args[0];
为什么含转义字符的输入数据记录到Bad Records中的值与原始数据不同？ 问题 为什么含转义字符的输入数据记录到Bad Records中的值与原始数据不同？ 回答 转义字符以反斜线"\"开头，后跟一个或几个字符。如果输入记录包含类似\t，\b，\n，\r，\f，\'，\"，\\的转义字
MapReduce统计样例程序开发思路 场景说明 假定用户有某个周末网民网购停留时间的日志文本，基于某些业务要求，要求开发MapReduce应用程序实现如下功能： 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 周末两天的日志文件第一列为姓名，第二列为性别，第三列为本次停留时间，单位为分钟，分隔符为“
Spark从Hive读取数据再写入HBase样例程序 Spark从Hive读取数据再写入HBase样例程序开发思路 Spark从Hive读取数据再写入HBase样例程序（Java） Spark从Hive读取数据再写入HBase样例程序（Scala） Spark从Hive读取数据再写入HBase样例程序（Python）
Spark Streaming对接Kafka0-10样例程序 Spark Streaming对接Kafka0-10样例程序开发思路 Spark Streaming对接Kafka0-10样例程序（Java） Spark Streaming对接Kafka0-10样例程序（Scala）
如何处理自动加载的依赖包 问题 在使用IDEA导入工程前，如果IDEA工具中已经进行过Maven配置时，会导致工具自动加载Maven配置中的依赖包。当自动加载的依赖包与应用程序不配套时，导致工程Build失败。如何处理自动加载的依赖包？ 回答 建议在导入工程后，手动删除自动加载的依赖。步骤如下：
如何处理自动加载的依赖包 问题 在使用IDEA导入工程前，如果IDEA工具中已经进行过Maven配置时，会导致工具自动加载Maven配置中的依赖包。当自动加载的依赖包与应用程序不配套时，导致工程Build失败。如何处理自动加载的依赖包？ 回答 建议在导入工程后，手动删除自动加载的依赖。步骤如下：
Jar作业提交SQL样例程序开发思路 场景说明 当作业的SQL语句修改频繁时，可使用Flink Jar的方式提交Flink SQL语句，以减少用户工作量。 本场景适用于MRS 3.2.1及以后版本。 开发思路 使用当前样例提交并执行指定的SQL语句，多个语句之间使用分号分隔。 父主题：
MapReduce统计样例程序开发思路 场景说明 假定用户有某个周末网民网购停留时间的日志文本，基于某些业务要求，要求开发MapReduce应用程序实现如下功能： 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 周末两天的日志文件第一列为姓名，第二列为性别，第三列为本次停留时间，单位为分钟，分隔符为“
合理地设计表结构、行键、列名能充分利用HBase的优势。全局二级索引应用于scan条件查询场景，查询均由索引表完成，无需关注用户表rowkey。在本样例中，用户表rowkey格式为："r1"，"r2"，"r3"...，所有列都存储在info列族中。 样例功能说明 样例重点介绍全局二级索引的创建、状态修改、删除、以及基于二级索引查询的实现。
通过Spark-sql创建Hudi表或者Hive表，未插入数据前，查询表统计信息为空 问题 通过spark-sql创建Hudi表或者Hive表，未插入数据之前，查询表统计信息都为空。 回答 可以通过以下两种方式生成： 手动通过analyze命令，触发统计信息收集。如果没有插入数据
在本地Windows环境中查看Spark程序调试结果 SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in [jar:file:/D:/mavenlocal/org/apache/l
访问Hue原生页面时间长，文件浏览器报错Read timed out 问题 访问Hue原生页面时页面加载时间较长，访问Hue的HDFS文件浏览器报错Read timed out，如何解决。 回答 检查HDFS服务中是否安装Httpfs实例。 否，请联系运维人员处理。 是，重启HttpFS实例解决。 父主题：
合理地设计表结构、行键、列名能充分利用HBase的优势。全局二级索引应用于scan条件查询场景，查询均由索引表完成，无需关注用户表rowkey。在本样例中，用户表rowkey格式为："r1"，"r2"，"r3"...，所有列都存储在info列族中。 样例功能说明 样例重点介绍全局二级索引的创建、状态修改、删除、以及基于二级索引查询的实现。
educe作业访问多个服务组件。帮助用户理解认证、配置加载等关键使用方式。 该样例逻辑过程如下： 以HDFS文本文件为输入数据： log1.txt：数据输入文件 YuanJing,male,10 GuoYijun,male,5 Map阶段： 获取输入数据的一行并提取姓名信息。 查询HBase一条数据。
IntelliJ IDEA中远程提交拓扑执行Main时报错：Command line is too long 问题 IntelliJ IDEA中远程提交拓扑，执行Main方法时IntelliJ IDEA报如下错 ： Command line is too long. Shorten
10:57:00~2017/05/11 10:58:00缺失的RDD补上（如图2所示），尽管UI界面上显示读取的数据个数为“0”，但实际上这部分数据在补的RDD中进行了处理，因此，不存在数据丢失。 Kafka重启时间段的数据处理机制如下。 Spark Streaming应用使用了
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
