检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
以在集群内节点安装客户端为例: 登录Manager,在“主页”单击“下载客户端”,弹出“下载集群客户端”信息提示框。 选择“完整客户端”,选择与待安装节点架构相匹配的平台类型,勾选“仅保存到如下路径”,单击“确定”开始生成客户端文件。 文件生成后默认保存在主管理节点“/tmp/FusionInsight-Client”。
以在集群内节点安装客户端为例: 登录Manager,在“主页”单击“下载客户端”,弹出“下载集群客户端”信息提示框。 选择“完整客户端”,选择与待安装节点架构相匹配的平台类型,勾选“仅保存到如下路径”,单击“确定”开始生成客户端文件。 文件生成后默认保存在主管理节点“/tmp/FusionInsight-Client”。
format("kafka").option("subscribe", "newTopic") sink的类型发生变化:允许特定的几个sink的组合,具体场景需要验证确认,例如: File sink允许变更为kafka sink,kafka中只处理新数据。 kafka sink不允许变更为file sink。
Zone”。单击“Save”保存。如需添加多条策略有效期,可单击按钮添加。如需删除策略有效期,可单击按钮删除。 单击“Add”,在策略列表可查看策略的基本信息。等待策略生效后,验证相关权限是否正常。 如需禁用某条策略,可单击按钮编辑策略,设置策略开关为“Disabled”。 如果不再使用策略,可单击按钮删除策略。 父主题:
format("kafka").option("subscribe", "newTopic") sink的类型发生变化:允许特定的几个sink的组合,具体场景需要验证确认,例如: File sink允许变更为kafka sink,kafka中只处理新数据。 kafka sink不允许变更为file sink。
format("kafka").option("subscribe", "newTopic") sink的类型发生变化:允许特定的几个sink的组合,具体场景需要验证确认,例如: File sink允许变更为kafka sink,kafka中只处理新数据。 kafka sink不允许变更为file sink。
format("kafka").option("subscribe", "newTopic") sink的类型发生变化:允许特定的几个sink的组合,具体场景需要验证确认,例如: File sink允许变更为kafka sink,kafka中只处理新数据。 kafka sink不允许变更为file sink。
OPTIONS('FILEHEADER'='column1,column2') ESCAPECHAR:如果用户想在CSV上对Escape字符进行严格验证,可以提供Escape字符。默认值为\。 OPTIONS('ESCAPECHAR'='\') 如果在CSV数据中输入ESCAPECHAR,该ESCAPECHAR必须在双引号("
表1 下载到远端节点配置参数 参数名称 样例 参数说明 主机IP x.x.x.x 远端节点的IP地址。 说明: 远端节点的平台类型需要与所下载客户端的平台类型一致,否则可能导致安装客户端失败。 主机端口 22 远端节点的主机端口。 登录用户名称 xxx 登录远端节点的用户名称。
在“连接”区域,单击“添加”新建一个的连接,在“连接器”中选择“sftp-connector”,单击“添加”,输入配置连接参数,单击“测试”验证连接是否可用,待提示“测试成功”后单击“确定”。Loader支持配置多个SFTP服务器操作数据,单击“添加”可增加多行SFTP服务器的配置信息。
、oracle-partition-connector、mysql-fastpath-connector),输入配置连接参数,单击“测试”验证连接是否可用,待提示“测试成功”后单击“确定”。 与关系数据库连接时,可以选择通用数据库连接器(generic-jdbc-connecto
、oracle-partition-connector、mysql-fastpath-connector),输入配置连接参数,单击“测试”验证连接是否可用,待提示“测试成功”后单击“确定”。 与关系数据库连接时,可以选择通用数据库连接器(generic-jdbc-connecto
Protocol,简称为LDAP),为Kerberos认证提供用户和用户组数据保存能力。 方案架构 Hive是建立在Hadoop上的数据仓库框架,提供大数据平台批处理计算能力,能够对结构化/半结构化数据进行批量分析汇总完成数据计算。提供类似SQL的Hive Query Language语言操作结构
在“下载集群客户端”弹窗中,配置以下参数: 选择客户端类型:选择“完整客户端”。 选择平台类型:必须与待安装客户端的节点的架构匹配,例如“x86_64”。 对于集群内的节点,节点架构类型可在Manager页面选择“主机”,在待安装客户端节点所在行的“平台类型”列查看。 勾选“仅保存到如下路径”,使用默认保存路
in current user,please install the JDK and set the JAVA_HOME 集群混搭时,安装跨平台客户端时,请进入/opt/client/FusionInsight_Cluster_1_Flume_ClientConfig/Flume/
使用root用户登录集群客户端节点,进入客户端安装目录。 su - omm cd /opt/client source bigdata_env 执行以下命令验证集群是否可以访问OBS。 hdfs dfs -ls obs://mrs-demo-data/flink 提交Flink作业,指定源文件数据进行消费。
OPTIONS('FILEHEADER'='column1,column2') ESCAPECHAR:如果用户想在CSV上对Escape字符进行严格验证,可以提供Escape字符。默认值为\。 OPTIONS('ESCAPECHAR'='\') 如果在CSV数据中输入ESCAPECHAR,该ESCAPECHAR必须在双引号("
在“连接”区域,单击“添加”新建一个的连接,在“连接器”中选择“clickhouse-connector”,输入配置连接参数,单击“测试”验证连接是否可用,待提示“测试成功”后单击“确定”,参数设置请参考表1。 表1 “clickhouse-connector”连接参数 参数名 说明
在“连接”区域,单击“添加”新建一个的连接,在“连接器”中选择“sftp-connector”,单击“添加”,输入配置连接参数,单击“测试”验证连接是否可用,待提示“测试成功”后单击“确定”。Loader支持配置多个SFTP服务器操作数据,单击“添加”可增加多行SFTP服务器的配置信息。
validator) throws Exception “validate”方法能够对用户输入的参数进行验证。 在该方法中限制输入序列的数量和类型,检查用户输入的属性或者进行自定义逻辑的验证。 void beforeStart(UDFParameters parameters, UDTFConfigurations