检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Projects界面 样例工程运行依赖包参考信息 Flink客户端lib目录、opt目录中都有flink jar包,其中lib目录中默认是flink核心jar包,opt目录中是对接外部组件的jar包(例如flink-connector-kafka*.jar),若应用开发中需要请手动复制相关jar包到lib目录中。
参数类型 描述 project_id 是 String 参数解释: 项目编号。获取方法,请参见获取项目ID。 约束限制: 不涉及 取值范围: 只能由英文字母和数字组成,且长度为[1-64]个字符。 默认取值: 不涉及 cluster_id 是 String 参数解释: 集群ID。
参数类型 描述 project_id 是 String 参数解释: 项目编号。获取方法,请参见获取项目ID。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 请求参数 表2 请求Body参数 参数 是否必选 参数类型 描述 job_name 是 String 参数解释: 作业名称。
重启组件的范围,是以补丁依次升级给定的范围,即如果是从MRS 3.2.0-LTS.1.4打补丁升级到MRS 3.2.0-LTS.1.5,需要重启MRS 3.2.0-LTS.1.5补丁的组件;如果是跨版本升级的,则需要重启的组件范围是各补丁的合集。 如果有使用人为安装的客户端(集群内
进入“添加安全组规则”页面,添加需要开放权限用户访问公网的IP地址段并勾选“我确认这里设置的公网IP/端口号是可信任的公网访问IP范围,我了解使用0.0.0.0/0会带来安全风险”如图3所示。 图3 添加安全组规则 默认填充的是用户访问公网的IP地址,用户可根据需要修改IP地址段,如需对安全组规则进行查看,
round_robin 选择机制。必须是round_robin,random或者自定义的类,且该类继承了AbstractSinkSelector processor.selector.maxTimeOut 30000 屏蔽故障sink的时间,默认是30000毫秒 Failover配置样例:
本地提交仅支持普通安全模式 * * 用户同时只能选择一种任务提交方式,默认命令行方式提交,如果是其他方式,请删除代码注释即可 */ submitTopology(builder
FairCallQueue”启用QoS特性。 java.util.concurrent.LinkedBlockingQueue RPC BackOff Backoff是FairCallQueue的功能之一,要求客户端在一段时间后重试操作(如创建,删除,打开文件等)。当Backoff发生时,RCP服务器将发生
password 无默认值 开发用户对应的密码。 密码明文存储存在安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。 说明: 如果是在Manager上新建的用户,首次使用前需要修改初始密码。 clusterName default_cluster ClickHouse逻辑集群名称,保持默认值。
password 无默认值 开发用户对应的密码。 密码明文存储存在安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。 说明: 如果是在Manager上新建的用户,首次使用前需要修改初始密码。 clusterName default_cluster ClickHouse逻辑集群名称,保持默认值。
analyze不支持DDL语句。 示例 下面这个例子,你可以看到每个阶段(Stage)的CPU时间消耗,每个计划节点相应的代价。 这个代价是基于现实时间(wall time),而非CPU的相关时间。 对每一个计划节点,都可以看到额外的统计信息,例如每个节点实例的输入平均值,哈希碰撞(hash
FlinkSQL支持Kafka、HDFS读取;支持写入Kafka和HDFS。 支持同一个作业定义多个FlinkSQL,多个指标合并在一个作业计算。当一个作业是相同主键、相同的输入和输出时,该作业支持多个窗口的计算。 支持AVG、SUM、COUNT、MAX和MIN统计方法。 Flink SQL可视化定义
catalog、schema分别是JDBC客户端要连接的catalog和schema名称。 HSBroker_IP:HSBroker_Port是HSBroker的URL,多个URL以逗号隔开。例如:“192.168.81.37:2181,192.168.195.232:2181,192
hostname:port/oozie -config job.properties文件所在路径 -run 参数列表: 表2 参数列表 参数 含义 job 表示执行的是job任务 -oozie oozie服务器地址(任意节点) -config job.properties文件所在路径 -run 表示启动流程
FlinkSQL支持Kafka、HDFS读取;支持写入Kafka和HDFS。 支持同一个作业定义多个FlinkSQL,多个指标合并在一个作业计算。当一个作业是相同主键、相同的输入和输出时,该作业支持多个窗口的计算。 支持AVG、SUM、COUNT、MAX和MIN统计方法。 Flink SQL可视化定义
开始时间和结束时间,可通过添加在Hint中'window.start.field'和'window.end.field'使用,字段类型必须是timestamp,示例如下: CREATE TABLE LD_SINK( `float` FLOAT, `string` STRING,
FairCallQueue”启用QoS特性。 java.util.concurrent.LinkedBlockingQueue RPC BackOff Backoff是FairCallQueue的功能之一,要求客户端在一段时间后重试操作(如创建,删除,打开文件等)。当Backoff发生时,RCP服务器将发生
不支持aggregate内包含运算,如:sum(a+b)。 不支持aggregate运算,如:sum(a)+min(b)。 注意事项 外部数据源是Hive的场景,通过Spark建的外表无法进行查询。 数据源只支持MySQL和Mppdb。 父主题: Spark2x
租户有多个目录,请选择其中任何一个。 路径:填写租户目录的路径。 如果当前租户不是子租户,新路径将在HDFS的根目录下创建。 如果当前租户是一个子租户,新路径将在指定的目录下创建。 完整的HDFS存储目录最多包含1023个字符。HDFS目录名称包含数字、大小写字母、空格和下划线。空格只能在HDFS目录名称的中间使用。
NtpIP网关 dev 本机IP对应网卡 table ntp_rt ip rule add to ntpIP table ntp_rt 本机IP对应网卡是指可与NTP服务器所在网段互通的网卡。 例如: ip route add default via 10.10.100.254 dev eth0