检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
filesize”定义小表的大小，默认为25MB。 Map Join的方法有两种： 使用/*+ MAPJOIN(join_table) */。 执行语句前设置如下参数，当前版本中该值默认为“true”。 set hive.auto.convert.join=true; 使用Map Join时没有
'topic' = 'topic-1' ,'properties.bootstrap.servers' = 'Kafka的Broker实例业务IP:Kafka端口号' ,'properties.group.id' = 'group-1' ,'value.format'
然后单击“Next”。 如果您需要新建Java语言的工程，选择对应参数即可。 图2 选择开发环境 在工程信息页面，填写工程名称和存放路径，设置JDK版本、Scala SDK版本，然后单击“Finish”完成工程创建。 图3 填写工程信息 父主题： 准备Spark应用开发环境
Module”，然后单击“Next”。 如果您需要新建Java语言的工程，选择对应参数即可。 图2 选择开发环境 在工程信息页面，填写工程名称和存放路径，设置JDK版本和Scala SDK，然后单击“Finish”完成工程创建。 图3 填写工程信息 父主题： 准备Flink应用开发环境
查询时返回结果为乱码。 可能原因 Hive默认压缩格式不是ARC4格式或者未开启输出压缩。 解决方案 在select结果乱码时，在beeline中进行如下设置。 set mapreduce.output.fileoutputformat.compress.codec=org.apache.hadoop
ql://MySQL数据库IP地址:MySQL的端口/数据库名称。 --username 连接MySQL数据库的用户名。 -password 连接MySQL数据库的用户密码。命令中如果携带认证密码信息可能存在安全风险，在执行命令前建议关闭系统的history命令记录功能，避免信息泄露。
val env = StreamExecutionEnvironment.getExecutionEnvironment // 设置并发度 env.setParallelism(1) // 解析运行参数 val paraTool = ParameterTool
e_name}表示表名称）： set hoodie.${table_name}.consume.mode=INCREMENTAL; //设置增量读取模式 set hoodie.${table_name}.consume.max.commits=3; // 指定最大消费的commits数量
抓取shuffle数据，减少了Executor的压力，在Executor GC的时候也不会影响其他Executor的任务运行。 操作步骤 登录FusionInsight Manager系统。 选择“集群 > 待操作集群的名称 > 服务 > Spark2x > 配置”。单击“全部配置”。
UPSERT操作时，Hudi使用Avro兼容的parquet文件写入类进行写入，这个和Spark的写入方式是不兼容的。 解决方案： 执行BULK_INSERT时指定设置“hoodie.datasource.write.row.writer.enable = false”，使hoodie采用Avro兼容的parquet文件写入类进行写入。
partitions = XXX;命令调大“hive.exec.max.dynamic.partitions”参数值。 SparkSQL中需要设置“spark.hadoop.hive.exec.max.dynamic.partitions”参数。 父主题： 使用Hive
UPSERT操作时，Hudi使用Avro兼容的parquet文件写入类进行写入，这个和Spark的写入方式是不兼容的。 解决方案： 执行BULK_INSERT时指定设置“hoodie.datasource.write.row.writer.enable = false”，使hoodie采用Avro兼容的parquet文件写入类进行写入。
beeline -e "" --hivevar batchid=xxxxx --hivevar kill=true 登录beeline客户端，启动断线重连机制。 登录beeline客户端后，执行“set hivevar:batchid=xxxx” 使用说明： 其中“xxxx”表示每
found”。该问题原因是操作系统的GLIBCXX版本较低，导致该特性依赖的libnativetask.so.1.0.0库无法加载，进而导致任务失败。 规避手段： 设置配置项mapreduce.job.map.output.collector.class的值为org.apache.hadoop.mapred
"/tmp/hudi/h1"; 注意事项 对表执行clean操作时需要表的owner才可以执行。 如果需要修改clean默认的参数，需要在执行前以set方式设置好需要保留的commit数等参数。 系统响应 可在driver日志和客户端中查看命令运行成功或失败。 父主题： Hudi DML语法说明
对于管理员创建IAM用户接口，如果调用后返回状态码为“201”，则表示请求成功。 响应消息头 对应请求消息头，响应同样也有消息头，如“Content-Type”。 对于管理员创建IAM用户接口，返回如图1所示的消息头，其中“x-subject-token”就是需要获取的用户Token。有
Module”，然后单击“Next”。如果您需要新建Java语言的工程，选择对应参数即可。 图2 选择开发环境 在工程信息页面，填写工程名称和存放路径，设置JDK版本，并勾选“Config later”（待工程创建完毕后引入scala的编译库文件），然后单击“Finish”完成工程创建。 图3
使用Hue提交Oozie Streaming作业 操作场景 该任务指导用户通过Hue界面提交Streaming类型的Oozie作业。 操作步骤 创建工作流，请参考使用Hue创建工作流。 在工作流编辑页面，选择“数据流”按钮，将其拖到操作区中。 在弹出的“Streaming”窗口中
使用Hue提交Oozie Streaming作业 操作场景 该任务指导用户通过Hue界面提交Streaming类型的Oozie作业。 操作步骤 创建工作流，请参考使用Hue创建工作流。 在工作流编辑页面，选择“数据流”按钮，将其拖到操作区中。 在弹出的“Streaming”窗口中
split(",").map(_.trim) assert(filePaths.length > 0) // windowTime设置窗口时间大小，默认2分钟一个窗口足够读取文本内的所有数据了 val windowTime = ParameterTool.fromArgs(args)
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
