检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Flume “-d”:Flume客户端安装路径。 “-f”(可选):两个MonitorServer角色的业务IP或主机名,中间用逗号分隔,如果不设置则Flume客户端将不向MonitorServer发送告警信息,同时在FusionInsight Manager界面上看不到该客户端的相关信息。
hadoop.com", MRS 2.1.x及之前版本: sasl.kerberos.keytab:可通过在MRS Manager界面选择“系统设置 > 用户管理”,在对应用户所在行的“操作”列选择“更多 >下载认证凭据”,保存后解压得到用户的user.keytab文件。 sasl.kerberos
static_log_channel.type = file client.channels.static_log_channel.dataDirs = 数据缓存路径,设置多个路径可提升性能,中间用逗号分开 client.channels.static_log_channel.checkpointDir = 检查点存放路径
如何通过集群外的节点访问MRS集群? 创建集群外Linux操作系统ECS节点访问MRS集群 创建一个集群外ECS节点,具体请参考购买弹性云服务器。 ECS节点的“可用区”、“虚拟私有云”、“安全组”,需要和待访问集群的配置相同。 在VPC管理控制台,申请一个弹性IP地址,并与ECS绑定。
UDFState extends Serializable{ private var count = 0L // 设置用户自定义状态 def setState(s: Long) = count = s // 获取用户自定状态 def
UDFState extends Serializable{ private var count = 0L // 设置用户自定义状态 def setState(s: Long) = count = s // 获取用户自定状态 def
nException” 执行Kafka Topic创建操作时发现无法创建提示“NoAuthException” 执行Kafka Topic设置ACL操作失败,提示“NoAuthException” 执行Kafka Topic创建操作时发现无法创建提示“NoNode for /brokers/ids”
异步方式由spark-sql来实现。 如果需要在异步compaction时只执行已经产生的compaction调度计划而不创建新的调度计划,则需要通过set命令设置以下参数: set hoodie.compact.inline=true; set hoodie.schedule.compact.only
kerberos.domain.name' = 'hadoop.系统域名' ); SELECT * FROM KafkaSource; 不能同时设置“topic-pattern”和“topic”配置项 topic-pattern:主题模式,用于source表,可使用正则表达式的主题名称。
because lease recovery is in progress. Try again later. 如果该文件的释放时间没有超过默认设置60s,原有客户端会继续持有该租约,则会发生AlreadyBeingCreatedException异常,实际上向客户端返回的是null,导致客户端出现如下异常:
【Hue WebUI】访问Hue WebUI页面报错“Proxy Error” 现象描述 打开Hue页面的时候提示“Proxy Error”。 原因分析 网络故障(如:错包率高、高延迟等)导致Httpd没有接收到报文或者接收到了错误报文。 时钟跳变或其他因素的影响导致Httpd服务与Hue服务认证关系失效。
orderkey, orderstatus, totalprice / 4 AS quarter FROM orders 创建一个视图的同时设置表属性: create or replace view view1 comment 'the first view' TBLPROPER
集群。 登录KafkaManager的WebUI界面。 在页面上方选择“Cluster > Add Cluster” 。 图1 添加集群 设置待添加集群的参数,如下参数请参考样例,其他参数默认不需要修改。 表1 需修改的集群参数 参数名称 取值样例 说明 Cluster Name
because lease recovery is in progress. Try again later. 如果该文件的释放时间没有超过默认设置60s,原有客户端会继续持有该租约,则会发生AlreadyBeingCreatedException异常,实际上向客户端返回的是null,导致客户端出现如下异常:
异步方式由spark-sql来实现。 如果需要在异步compaction时只执行已经产生的compaction调度计划而不创建新的调度计划,则需要通过set命令设置以下参数: set hoodie.compact.inline=true; set hoodie.schedule.compact.only
在“恢复配置”,勾选“元数据和其他数据”下的“Flink”。 在“Flink”的“路径类型”,选择一个恢复目录的类型。 选择不同的备份目录时,对应设置如下: “LocalDir”:表示从主管理节点的本地磁盘上恢复数据。 选择此参数值,还需要配置“源端路径”,表示要恢复的备份文件。例如,“备份任务名_数据源_任务执行时间
SQL作业,作业类型选择“流作业”。在作业开发界面进行如下作业配置并启动作业。 需勾选“基础参数”中的“开启CheckPoint”,“时间间隔(ms)”可设置为“60000”,“模式”可使用默认值。 安全集群且HBase的认证模式为hbase.rpc.protection=authentication时参考如下样例,建立Flink
UDFState extends Serializable{ private var count = 0L // 设置用户自定义状态 def setState(s: Long) = count = s // 获取用户自定状态 def
class UDFStateScala extends Serializable{ private var count = 0L // 设置用户自定义状态 def setState(s: Long) = count = s // 获取用户自定状态 def getState
source bigdata_env 创建输入Topic和输出Topic,与样例代码中指定的Topic名称保持一致,输出Topic的清理策略设置为compact。 kafka-topics.sh --create --zookeeper quorumpeer实例IP地址:ZooKeeper客户端连接端口/kafka