检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
表2 不建议修改的参数说明 配置项 说明 默认值或配置示例 spark.password.factory 用于选择密钥解析方式。
/** * 参数解析: * <checkPointDir>为checkPoint目录。 * <topics>为Kafka中订阅的主题，多以逗号分隔。 * <brokers>为获取元数据的Kafka地址。
使用Netty和Netty路由器库来处理REST请求和解析URL。 REST API接口的执行方式是通过HTTP请求进行。
使用Netty和Netty路由器库来处理REST请求和解析URL。 REST API接口的执行方式是通过HTTP请求进行。
HDFS_DELEGATION_TOKEN token 45 for admin) 10914 [main] INFO org.apache.hadoop.yarn.client.ConfiguredRMFailoverProxyProvider - Failing over to 53
的日志格式如下所示： 表3 日志格式 日志类型 组件 格式 示例 运行日志 HMaster <yyyy-MM-dd HH:mm:ss,SSS>|<Log Level>|<产生该日志的线程名字>|<log中的message>|<日志事件的发生位置> 2020-01-19 16:04:53,558
18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53
StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); // 设置并发度 env.setParallelism(1); // 解析运行参数
如果Hive UDF入参为null，系统调用Hive UDF将直接返回null，不会解析null作为入参的Hive UDF逻辑，这可能导致处理null值的Hive UDF执行结果与Hive执行结果不一致。
18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53
StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); // 设置并发度 env.setParallelism(1); // 解析运行参数
HDFS_DELEGATION_TOKEN token 45 for admin) 10914 [main] INFO org.apache.hadoop.yarn.client.ConfiguredRMFailoverProxyProvider - Failing over to 53
StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); // 设置并发度 env.setParallelism(1); // 解析运行参数
StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); // 设置并发度 env.setParallelism(1); // 解析运行参数
不解析文件内容直接传输，不要求文件格式必须为二进制。适用于文件到文件的原样复制。 其他可选参数一般情况下保持默认即可，详细说明请参见配置HDFS源端参数。 目的端作业配置 目的连接名称：选择步骤3：创建OBS连接中的“obs_link”。 桶名：待迁移数据的桶。
admin 2016-07-20 16:25:38 GMT+08:00: BOOTING - Progress is not available 2016-07-20 16:25:46 GMT+08:00: BOOTING - 0.00 % 2016-07-20 16:25:53
admin 2016-07-20 16:25:38 GMT+08:00: BOOTING - Progress is not available 2016-07-20 16:25:46 GMT+08:00: BOOTING - 0.00 % 2016-07-20 16:25:53
kafka_schema 否 如果解析格式需要一个schema时，此参数必填。 kafka_num_consumers 否 单个表的消费者数量。默认值是：1，如果一个消费者的吞吐量不足，则指定更多的消费者。
host1 :) kafka_skip_broken_messages （可选）表示忽略解析异常的Kafka数据的条数。如果出现了N条异常后，后台线程结束，Materialized View会被重新安排后台线程去监测数据。
接收的字节被解析为UTF8格式。默认的存储级别为Memory+Disk。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
