华为云用户手册

  • HA 表10 HA参数说明 参数 描述 默认值 是否必选 high-availability HA模式,是启用HA还是非HA模式。当前支持两种模式: none,只运行单个jobManager,jobManager的状态不进行Checkpoint。 ZooKeeper。 非YARN模式下,支持多个jobManager,通过选举产生leader。 YARN模式下只存在一个jobManager。 zookeeper 否 high-availability.zookeeper.quorum ZooKeeper quorum地址。 自动配置 否 high-availability.zookeeper.path.root Flink在ZooKeeper上创建的根目录,存放HA模式必须的元数据。 /flink 否 high-availability.storageDir 存放state backend中JobManager元数据,ZooKeeper只保存实际数据的指针。 hdfs:///flink/recovery 否 high-availability.zookeeper.client.session-timeout ZooKeeper客户端会话超时时间。单位:ms。 60000 否 high-availability.zookeeper.client.connection-timeout ZooKeeper客户端连接超时时间。单位:ms。 15000 否 high-availability.zookeeper.client.retry-wait ZooKeeper客户端重试等待时间。单位:ms。 5000 否 high-availability.zookeeper.client.max-retry-attempts ZooKeeper客户端最大重试次数。 3 否 high-availability.job.delay 当jobManager恢复后重启job的延迟时间。 默认值和akka.ask.timeout配置值保持一致 否 high-availability.zookeeper.client.acl 设置ZooKeeper节点的ACL (open creator),按照集群的安全模式自动配置。 安全模式:creator 非安全模式:open 是 zookeeper.sasl.disable 基于SASL认证的使能开关,按照集群的安全模式自动配置:。 安全模式:false 非安全模式:true 是 zookeeper.sasl.service-name 如果ZooKeeper服务端配置了不同于“ZooKeeper”的服务名,可以设置此配置项。 如果客户端和服务端的服务名不一致,认证会失败。 zookeeper 是
  • Pipeline 表13 Pipeline参数说明 参数 描述 默认值 是否必选 nettyconnector.registerserver.topic.storage 设置NettySink的IP、端口及并发度信息在第三方注册服务器上的路径。建议用户使用ZooKeeper进行存储。 /flink/nettyconnector 否,当使用pipeline特性为必选 nettyconnector.sinkserver.port.range 设置NettySink的端口范围。 28444-28843 否,当使用pipeline特性为必选 nettyconnector.ssl.enabled 设置NettySink与NettySource之间通信是否配置SSL加密。其中加密密钥以及加密协议等请参见SSL。 false 否,当使用pipeline特性为必选 nettyconnector.message.delimiter 用来配置nettysink发送给nettysource消息的分隔符,长度为2-4个字节,不可包含“\n”, “ ”, “#” 。 默认使用“$_” 否,当使用pipeline特性为必选
  • Yarn 表12 Yarn参数说明 参数 描述 默认值 是否必选 yarn.maximum-failed-containers 当TaskManager所属容器出错后,重新申请container次数。默认值为Flink集群启动时TaskManager的数量。 5 否 yarn.application-attempts Application master重启次数,次数是算在一个validity interval的最大次数,validity interval在flink中设置为akka的timeout。重启后AM的地址和端口会变化,client需要手动连接。 2 否 yarn.heartbeat-delay Application Master和YARN Resource Manager心跳的时间间隔。单位:seconds 5 否 yarn.containers.vcores 每个Yarn容器的虚拟核数。 TaskManager的slot数 否 yarn.application-master.port Application Master端口号设置,支持端口范围。 32586-32650 否
  • File Systems 表7 File Systems参数说明 参数 描述 默认值 是否必选 fs.overwrite-files 文件输出写操作是否默认覆盖已有文件。 false 否 fs.output.always-create-directory 当文件写入程序的并行度大于1时,输出文件的路径下会创建一个目录,并将不同的结果文件(每个并行写程序任务)放入该目录。 设置为true,那么并行度为1的写入程序也将创建一个目录并将一个结果文件放入其中。 设置为false,则并行度为1的写入程序将直接在输出路径中创建文件,而不再创建目录。 false 否
  • JobManager Web Frontend 表6 JobManager Web Frontend参数说明 参数 描述 默认值 是否必选 jobmanager.web.allow-access-address web访问白名单,ip以逗号隔开。只有在白名单中的ip才能访问web。 * 是 flink.security.enable 用户安装Flink集群时,需要选择“安全模式”或“普通模式”。 当选择“安全模式”,自动配置为“true”。 当选择“普通模式”,自动配置为“false”。 对于已经安装好的Flink集群,用户可以通过查看配置的值来区分当前安装的是安全模式还是普通模式。 自动配置 否 rest.bind-port web端口,支持范围:32261-32325。 32261-32325 否 jobmanager.web.history 显示“flink.security.enable”最近的job数目。 5 否 jobmanager.web.checkpoints.disable 禁用checkpoint统计。 false 否 jobmanager.web.checkpoints.history Checkpoint统计记录数。 10 否 jobmanager.web.backpressure.cleanup-interval 未访问反压记录清理周期。单位:ms。 600000 否 jobmanager.web.backpressure.refresh-interval 反压记录刷新周期。单位:ms。 60000 否 jobmanager.web.backpressure.num-samples 计算反压使用的堆栈跟踪记录数。 100 否 jobmanager.web.backpressure.delay-between-samples 计算反压的采样间隔。单位:ms 50 否 jobmanager.web.ssl.enabled web是否使用SSL加密传输,仅在全局开关security.ssl开启时有。 false 是 jobmanager.web.accesslog.enable web操作日志使能开关,日志会存放在webaccess.log中。 true 是 jobmanager.web.x-frame-options http安全头X-Frame-Options的值,可选范围为:SAMEORIGIN、DENY、ALLOW-FROM uri。 DENY 是 jobmanager.web.cache-directive web页面是否支持缓存。 no-store 是 jobmanager.web.expires-time web页面缓存过期时长。单位:ms。 0 是 jobmanager.web.access-control-allow-origin 网页同源策略,防止跨域攻击。 * 是 jobmanager.web.refresh-interval web网页刷新时间。单位:ms。 3000 是 jobmanager.web.logout-timer 配置无操作情况下自动登出时间间隔。单位:ms。 600000 是 jobmanager.web.403-redirect-url web403页面,访问如果遇到403错误,则会重定向到配置的页面。 自动配置 是 jobmanager.web.404-redirect-url web404页面,访问如果遇到404错误,则会重定向到配置的页面。 自动配置 是 jobmanager.web.415-redirect-url web415页面,访问如果遇到415错误,则会重定向到配置的页面。 自动配置 是 jobmanager.web.500-redirect-url web500页面,访问如果遇到500错误,则会重定向到配置的页面。 自动配置 是 rest.await-leader-timeout 客户端等待Leader地址的时间(以ms为单位)。 30000 否 rest.client.max-content-length 客户端处理的最大内容长度(以字节为单位)。 104857600 否 rest.connection-timeout 客户端建立TCP连接的最长时间(以ms为单位)。 15000 否 rest.idleness-timeout 连接保持空闲状态的最长时间(以ms为单位)。 300000 否 rest.retry.delay 客户端在连续重试之间等待的时间(以ms为单位)。 3000 否 rest.retry.max-attempts 如果可重试算子操作失败,客户端将尝试重试的次数。 20 否 rest.server.max-content-length 服务端处理的最大内容长度(以字节为单位)。 104857600 否 rest.server.numThreads 异步处理请求的最大线程数。 4 否 web.timeout web监控超时时间(以ms为单位)。 10000 否
  • State Backend 表8 State Backend参数说明 参数 描述 默认值 是否必选 state.backend.fs.checkpointdir 当backend为filesystem时的路径,路径必须能够被JobManager访问到,本地路径只支持local模式,集群模式下请使用HDFS路径。 hdfs:///flink/checkpoints 否 state.savepoints.dir Flink用于恢复和更新作业的保存点存储目录。当触发保存点的时候,保存点元数据信息将会保存到该目录中。 hdfs:///flink/savepoint 安全模式下必配 restart-strategy 默认重启策略,用于未指定重启策略的作业: fixed-delay failure-rate none none 否 restart-strategy.fixed-delay.attempts fixed-delay策略重试次数。 作业中开启了checkpoint,默认值为Integer.MAX_VALUE。 作业中未开启checkpoint,默认值为3。 否 restart-strategy.fixed-delay.delay fixed-delay策略重试间隔时间。单位:ms/s/m/h/d。 作业中开启了checkpoint,默认值是10 s。 作业中未开启checkpoint,默认值和配置项akka.ask.timeout的值一致。 否 restart-strategy.failure-rate.max-failures-per-interval 故障率策略下作业失败前给定时间段内的最大重启次数。 1 否 restart-strategy.failure-rate.failure-rate-interval failure-rate策略重试时间。单位:ms/s/m/h/d。 60 s 否 restart-strategy.failure-rate.delay failure-rate策略重试间隔时间。单位:ms/s/m/h/d。 默认值和akka.ask.timeout配置值一样。可参考Distributed Coordination (via Akka)。 否
  • Distributed Coordination (via Akka) 表3 Distributed Coordination参数说明 参数 描述 默认值 是否必选 akka.ask.timeout akka所有异步请求和阻塞请求的超时时间。如果Flink发生超时失败,可以增大这个值。当机器处理速度慢或者网络阻塞时会发生超时。单位:ms/s/m/h/d。 10s 否 akka.lookup.timeout 查找JobManager actor对象的超时时间。单位:ms/s/m/h/d。 10s 否 akka.framesize JobManager和TaskManager间最大消息传输大小。当Flink出现消息大小超过限制的错误时,可以增大这个值。单位:b/B/KB/MB。 10485760b 否 akka.watch.heartbeat.interval Akka DeathWatch机制检测失联TaskManager的心跳间隔。如果TaskManager经常发生由于心跳消息丢失或延误而被错误标记为失联的情况,可以增大这个值。单位:ms/s/m/h/d。 10s 否 akka.watch.heartbeat.pause Akka DeathWatch可接受的心跳暂停时间,较小的数值表示不允许不规律的心跳。单位:ms/s/m/h/d。 60s 否 akka.watch.threshold DeathWath失败检测阈值,较小的数值容易把正常TaskManager标记为失败,较大的值增加了失败检测的时间。 12 否 akka.tcp.timeout 发送连接TCP超时时间,如果经常发生满网络环境下连接TaskManager超时,可以增大这个值。单位:ms/s/m/h/d。 20s 否 akka.throughput Akka批量处理消息的数量,一次操作完后把处理线程归还线程池。较小的数值代表actor消息处理的公平调度,较大的值以牺牲调度公平的代价提高整体性能。 15 否 akka.log.lifecycle.events Akka远程时间日志开关,当需要调试时可打开此开关。 false 否 akka.startup-timeout 远程组件启动失败前的超时时间。该值需带一个时间单位(ms/s/min/h/d) 与akka.ask.timeout的值一致 否 akka.ssl.enabled Akka通信SSL开关,仅在全局开关security.ssl开启时有。 true 是 akka.client-socket-worker-pool.pool-size-factor 计算线程池大小的因子,计算公式:ceil(可用处理器*因子),计算结果限制在pool-size-min和pool-size-max之间。 1.0 否 akka.client-socket-worker-pool.pool-size-max 基于因子计算的线程数上限。 2 否 akka.client-socket-worker-pool.pool-size-min 基于因子计算的线程数下限。 1 否 akka.client.timeout 【说明】客户端超时时间。该值需带一个时间单位(ms/s/min/h/d)。 60s 否 akka.server-socket-worker-pool.pool-size-factor 【说明】计算线程池大小的因子,计算公式:ceil(可用处理器*因子),计算结果限制在pool-size-min和pool-size-max之间。 1.0 否 akka.server-socket-worker-pool.pool-size-max 基于因子计算的线程数上限。 2 否 akka.server-socket-worker-pool.pool-size-min 基于因子计算的线程数下限。 1 否
  • SSL 表4 SSL参数说明 参数 描述 默认值 是否必选 security.ssl.protocol SSL传输的协议版本。 TLSv1.2 是 security.ssl.algorithms 支持的SSL标准算法,具体可参考java官网:http://docs.oracle.com/javase/8/docs/technotes/guides/security/StandardNames.html#ciphersuites。 TLS_DHE_RSA_WITH_AES_128_GCM_SHA256,TLS_ECDHE_RSA_WITH_AES_128_GCM_SHA256,TLS_DHE_RSA_WITH_AES_256_GCM_SHA384,TLS_ECDHE_RSA_WITH_AES_256_GCM_SHA384 是 security.ssl.enabled 内部通信SSL总开关,按照集群的安装模式自动配置。 安全模式:true 普通模式:false 是 security.ssl.keystore Java keystore文件。 - 是 security.ssl.keystore-password keystore文件解密密码。 - 是 security.ssl.key-password keystore文件中服务端key的解密密码。 - 是 security.ssl.truststore truststore文件包含公共CA证书。 - 是 security.ssl.truststore-password truststore文件解密密码。 - 是
  • Network communication (via Netty) 表5 Network communication参数说明 参数 描述 默认值 是否必选 taskmanager.network.netty.num-arenas Netty内存块数。 1 否 taskmanager.network.netty.server.numThreads Netty服务器线程的数量。 1 否 taskmanager.network.netty.client.numThreads Netty客户端线程数。 1 否 taskmanager.network.netty.client.connectTimeoutSec Netty客户端连接超时。单位:s。 120 否 taskmanager.network.netty.sendReceiveBufferSize Netty发送和接收缓冲区大小。 默认为系统缓冲区大小(cat / proc / sys / net / ipv4 / tcp_ [rw] mem),在现代Linux中为4MB。单位:bytes。 4096 否 taskmanager.network.netty.transport Netty传输类型,“nio”或“epoll”。 nio 否
  • Blob服务端 表2 Blob服务端参数说明 参数 描述 默认值 是否必选 blob.server.port blob服务器端口。 32456-32520 否 blob.service.ssl.enabled blob传输通道是否加密传输,仅在全局开关security.ssl开启时有。 true 是 blob.fetch.retries TaskManager从JobManager下载blob文件的重试次数。 50 否 blob.fetch.num-concurrent JobManager支持的下载blob的并发数。 50 否 blob.fetch.backlog JobManager支持的blob下载队列大小,比如下载Jar包等。单位:个。 1000 否 library-cache-manager.cleanup.interval 当用户取消flink job后,jobmanager删除HDFS上存放用户jar包的时间,单位为s。 3600 否
  • 配置参数类别介绍 本章节介绍如下参数配置: JobManager & TaskManager: JobManager和TaskManager是Flink的主要组件,针对各种安全场景和性能场景,配置项包括通信端口,内存管理,连接重试等。 Blob服务端: JobManager节点上的Blob服务端是用于接收用户在客户端上传的Jar包,或将Jar包发送给TaskManager,传输log文件等,配置项包括端口,SSL,重试次数,并发等。 Distributed Coordination (via Akka): Flink客户端与JobManager的通信,JobManager与TaskManager的通信和TaskManager与TaskManager的通信都基于Akka actor模型。相关参数可以根据网络环境或调优策略进行配置,配置项包括消息发送和等待的超时设置,akka监测机制Deathwatch等。 SSL: 当需要配置安全Flink集群时,需要配置SSL相关配置项,配置项包括SSL开关,证书,密码,加密算法等。 Network communication (via Netty): Flink运行Job时,Task之间的数据传输和反压检测都依赖Netty,某些环境下可能需要对Netty参数进行配置。对于高级调优,可调整部分Netty配置项,默认配置已可满足大规模集群并发高吞吐量的任务。 JobManager Web Frontend: JobManager启动时,会在同一进程内启动Web服务器,访问Web服务器可以获取当前Flink集群的信息,包括JobManager,TaskManager及集群内运行的Job。Web服务器参数的配置项包括端口,临时目录,显示项目,错误重定向,安全相关等。 File Systems: Task运行中会创建结果文件,支持对文件创建行为进行配置,配置项包括文件覆盖策略,目录创建等。 State Backend: Flink提供了HA和作业的异常恢复,并且提供版本升级时作业的暂停恢复。对于作业状态的存储,Flink依赖于state backend,作业的重启依赖于重启策略,用户可以对这两部分进行配置。配置项包括state backend类型,存储路径,重启策略等。 Kerberos-based Security: Flink安全模式下必须配置Kerberos相关配置项,配置项包括kerberos的keytab、principal等。 HA: Flink的HA模式依赖于ZooKeeper,所以必须配置ZooKeeper相关配置,配置项包括ZooKeeper地址,路径,安全认证等。 Environment: 对于JVM配置有特定要求的场景,可以通过配置项传递JVM参数到客户端,JobMananger,TaskManager等。 Yarn: Flink运行在Yarn集群上时,JobManager运行在Application Master上。JobManager的一些配置参数依赖于Yarn,通过配置YARN相关的配置,使Flink更好的运行在Yarn上,配置项包括yarn container的内存,虚拟内核,端口等。 Pipeline: 为适应某些场景对降低时延的需求,设计多个Job间采用Netty直接相连的方式传递数据,即分别使用NettySink用于Server端、NettySource用于Client端进行数据传输。配置项包括NettySink的信息存放路径、NettySink的端口监测范围、连接是否通过SSL加密以及NettySink监测所使用的网络所在域等。 配置客户端提交作业开启告警功能: 通过Flink客户端提交的作业默认未开启告警功能,如果要开启告警功能,需要在提交作业的节点安装两个FlinkServer实例,并在客户端的“flink-conf.yaml”文件中配置相关参数。
  • 配置文件说明 Flink所有的配置参数都可以在客户端侧进行配置,建议用户直接修改客户端的“flink-conf.yaml”配置文件进行配置,如果通过Manager界面修改Flink服务参数,配置完成之后需要重新下载安装客户端: 配置文件路径:客户端安装路径/Flink/flink/conf/flink-conf.yaml。 文件的配置格式为key: value。 例:taskmanager.heap.size: 1024mb 注意配置项key:与value之间需有空格分隔。
  • JobManager & TaskManager 表1 JobManager & TaskManager参数说明 参数 描述 默认值 是否必选 taskmanager.rpc.port TaskManager的IPC端口范围。 32326-32390 否 taskmanager.memory.segment-size 内存管理器和网络堆栈使用的内存缓冲区大小。单位:bytes。 32768 否 taskmanager.data.port TaskManager数据交换端口范围。 32391-32455 否 taskmanager.data.ssl.enabled TaskManager之间数据传输是否使用SSL加密,仅在全局开关security.ssl开启时有效。 false 否 taskmanager.numberOfTaskSlots TaskManager占用的slot数,一般配置成物理机的核数,yarn-session模式下只能使用-s参数传递,yarn-cluster模式下只能使用-ys参数传递。 1 否 parallelism.default 默认并行度,用于未指定并行度的作业。 1 否 task.cancellation.interval 两次连续任务取消操作的间隔时间。单位:ms。 30000 否 client.rpc.port Flink client端Akka system监测端口。 32651-32720 否 jobmanager.heap.size JobManager堆内存大小,yarn-session模式下只能使用-jm参数传递,yarn-cluster模式下只能使用-yjm参数传递,如果小于YARN配置文件中yarn.scheduler.minimum-allocation-mb大小,则使用YARN配置中的值。单位:B/KB/MB/GB/TB。 1024mb 否 taskmanager.heap.size TaskManager堆内存大小,yarn-session模式下只能使用-tm参数传递,yarn-cluster模式下只能使用-ytm参数传递,如果小于YARN配置文件中yarn.scheduler.minimum-allocation-mb大小,则使用YARN配置中的值。单位:B/KB/MB/GB/TB。 1024mb 否 taskmanager.network.numberOfBuffers TaskManager网络传输缓冲栈数量,如果作业运行中出错提示系统中可用缓冲不足,可以增加这个配置项的值。 2048 否 taskmanager.debug.memory.startLogThread 调试Flink内存和GC相关问题时可开启,TaskManager会定时采集内存和GC的统计信息,包括当前堆内,堆外,内存池的使用率和GC时间。 false 否 taskmanager.debug.memory.logIntervalMs TaskManager定时采集内存和GC的统计信息的采集间隔。 0 否 taskmanager.maxRegistrationDuration TaskManager向JobManager注册自己的最长时间,如果超过时间,TaskManager会关闭。 5 min 否 taskmanager.initial-registration-pause 两次连续注册的初始间隔时间。该值需带一个时间单位(ms/s/min/h/d)(比如5秒)。 时间数值和单位之间有半角字符空格。ms/s/m/h/d表示毫秒、秒、分钟、小时、天。 500 ms 否 taskmanager.max-registration-pause TaskManager注册失败最大重试间隔。单位:ms/s/m/h/d。 30 s 否 taskmanager.refused-registration-pause TaskManager注册连接被JobManager拒绝后的重试间隔。单位:ms/s/m/h/d。 10 s 否 classloader.resolve-order 从用户代码加载类时定义类解析策略,这意味着是首先检查用户代码jar(“child-first”)还是应用程序类路径(“parent-first”)。默认设置指示首先从用户代码jar加载类,这意味着用户代码jar可以包含和加载不同于Flink使用的(依赖)依赖项。 child-first 否 slot.idle.timeout Slot Pool中空闲Slot的超时时间(以ms为单位)。 50000 否 slot.request.timeout 从Slot Pool请求Slot的超时(以ms为单位)。 300000 否 task.cancellation.timeout 取消任务超时时间(以ms为单位),超时后会触发TaskManager致命错误。设置为0,取消任务卡住则不会报错。 180000 否 taskmanager.network.detailed-metrics 启用网络队列长度的详细指标监控。 false 否 taskmanager.network.memory.buffers-per-channel 每个传出/传入通道(子分区/输入通道)使用的最大网络缓冲区数。在基于信用的流量控制模式下,这表示每个输入通道中有多少信用。它应配置至少2以获得良好的性能。1个缓冲区用于接收子分区中的飞行中数据,1个缓冲区用于并行序列化。 2 否 taskmanager.network.memory.floating-buffers-per-gate 每个输出/输入门(结果分区/输入门)使用的额外网络缓冲区数。在基于信用的流量控制模式中,这表示在所有输入通道之间共享多少浮动信用。浮动缓冲区基于积压(子分区中的实时输出缓冲区)反馈来分布,并且可以帮助减轻由子分区之间的不平衡数据分布引起的背压。如果节点之间的往返时间较长和/或群集中的机器数量较多,则应增加此值。 8 否 taskmanager.network.memory.fraction 用于网络缓冲区的JVM内存的占比。这决定了TaskManager可以同时拥有多少流数据交换通道以及通道缓冲的程度。如果作业被拒绝或者收到系统没有足够缓冲区的警告,请增加此值或“taskmanager.network.memory.min”和“taskmanager.network.memory.max”。另请注意,“taskmanager.network.memory.min”和“taskmanager.network.memory.max”可能会覆盖此占比。 0.1 否 taskmanager.network.memory.max 网络缓冲区的最大内存大小。该值需带一个大小单位(B/KB/MB/GB/TB)。 1 GB 否 taskmanager.network.memory.min 网络缓冲区的最小内存大小。该值需带一个大小单位(B/KB/MB/GB/TB)。 64 MB 否 taskmanager.network.request-backoff.initial 输入通道的分区请求的最小退避。 100 否 taskmanager.network.request-backoff.max 输入通道的分区请求的最大退避。 10000 否 taskmanager.registration.timeout TaskManager注册的超时时间,在该时间内未成功注册,TaskManager将终止。该值需带一个时间单位(ms/s/min/h/d)。 5 min 否 resourcemanager.taskmanager-timeout 释放空闲TaskManager的超时(以ms为单位)。 30000 否
  • 参考信息 被广播的表执行超时,导致任务结束。 默认情况下,BroadCastJoin只允许被广播的表计算5分钟,超过5分钟该任务会出现超时异常,而这个时候被广播的表的broadcast任务依然在执行,造成资源浪费。 这种情况下,有两种方式处理: 调整“spark.sql.broadcastTimeout”的数值,加大超时的时间限制。 降低“spark.sql.autoBroadcastJoinThreshold”的数值,不使用BroadCastJoin的优化。
  • 优化Flink Netty网络通信参数方法 以下配置均可在客户端的“conf/flink-conf.yaml”配置文件中进行修改适配,默认已经是相对较优解,请谨慎修改,防止性能下降。 “taskmanager.network.netty.num-arenas”: 默认是“taskmanager.numberOfTaskSlots”,表示netty的域的数量。 “taskmanager.network.netty.server.numThreads”和“taskmanager.network.netty.client.numThreads”:默认是“taskmanager.numberOfTaskSlots”,表示netty的客户端和服务端的线程数目设置。 “taskmanager.network.netty.client.connectTimeoutSec”:默认是120s,表示taskmanager的客户端连接超时的时间。 “taskmanager.network.netty.sendReceiveBufferSize”:默认是系统缓冲区大小(cat /proc/sys/net/ipv4/tcp_[rw]mem) ,一般为4MB,表示netty的发送和接收的缓冲区大小。 “taskmanager.network.netty.transport”:默认为“nio”方式,表示netty的传输方式,有“nio”和“epoll”两种方式。
  • 高级配置 配置网络,如图2所示。 图2 配置网络信息 单击“”,依次选择“VPC”和“子网”。 配置桌面池弹性伸缩的自动创建方式。 接入时创建:用户接入且当前没有空闲桌面时,系统自动创建新的桌面。 自动创建最多x台:购买池桌面和接入时自动创建最大数量根据用户剩余配额决定,请根据实际需要进行配置。 预创建:当桌面空闲数量低于阈值时自动创建指定数量的新桌面。 当空闲桌面低于x台时:桌面池中空闲桌面数量。 预创建x台:预创建桌面数量。 所有预创建桌面最多x台:预创建桌面总数量的阈值。 例如:配置为当空闲桌面低于5台时,预创建10台,所有的预创建桌面最多10台。 表示空闲桌面低于5台时,系统预创建10台桌面,当空闲桌面再次低于5台时,系统检测预创桌面达到阈值,则无法继续创建。 自动创建的桌面为按需桌面。 配置池桌面断连解绑 断连解绑:当客户端用户断开桌面后,桌面可以保留一段时间。超过断连保留时长后,桌面自动和用户解绑并重置。 断连保留时长范围:10~43200分钟。 桌面自动解绑后重置桌面,请及时保存桌面数据,避免数据丢失。 (可选)单击“高级”,配置标签信息。如表2 标签命名规则所示。 如果您需要使用同一标签识别多种云资源,即所有服务均可在标签输入框下拉选择同一标签,建议在TMS中创建预定义标签。 如果您需要了解更多关于标签的信息,请参考《标签管理服务TMS用户指南》。 最多可以添加20个标签。 表2 标签命名规则 参数 规则 标签键 长度不超过36个字符。 标签的键可以包含任意语种字母、数字、空格和_.:=+-@,但首尾不能含有空格,不能以_sys_开头。 标签值 长度不超过43个字符。 标签的值可以包含任意语种字母、数字、空格和_.:/=+-@。 单击“下一步:分配桌面”。 进入“分配桌面”页面。 根据所需选择命名规则。 如需创建新的命名规则,请参考桌面命名规则创建桌面规则。
  • 进入购买页面 登录管理控制台。 在“桌面管理”下,选择“桌面池”,单击“购买桌面池”。 进入“购买桌面池”页面。 首次购买桌面池提示授权说明: IMS服务权限 云桌面 支持镜像制作,因此需要访问 镜像服务 的权限。 云服务管理员权限 云桌面支持定时重建和弹性扩容,因此需要租户管理员权限。 VPC服务权限 云桌面支持创建的网络运行在虚拟私有云,因此需要访问虚拟私有云的权限。 同意授权后,将在 统一身份认证 服务为您创建名为 workspace_admin_trust 的委托,为保证服务正常使用,在使用定时任务、桌面池期间,请不要删除或者修改 workspace_admin_trust 委托。详见系统委托说明章节。
  • 基础配置 配置桌面信息,如表1 基础配置所示。 表1 基础配置 参数名称 说明 样例 计费方式 选择“按需计费” 按需计费 区域 不同区域的桌面之间内网互不相通,且需分区域管理桌面,推荐将桌面创建在同一区域。 说明: 区域是云桌面的物理数据中心所在的位置,区域不同即物理数据中心距离用户的物理距离不同,网络延迟不同。为了降低时延、提高访问速度,请就近选择靠近您业务的区域。 - 项目 根据实际情况选择项目。 说明: 如果没有目标项目,可单击,选择“新建项目”,进入创建项目页面。参考创建项目。 - 池名称 自定义桌面池名称。 - 池类型 选择“动态池”或者“静态池”。 具体概念解释请参见《产品介绍》文档中的“相关概念”章节。 - 可用分区 可用区是在同一区域下,电力、网络隔离的物理区域。可用区之间内网互通,不同可用区之间物理隔离,一个可用区发生故障后不会影响同一区域下的其他可用区。 说明: 如果您需要较高的容灾能力,建议您将桌面创建在不同的可用分区内。 随机分配 CPU架构 根据实际情况选择CPU架构。 例如,UOS桌面使用鲲鹏计算;Windows桌面使用X86计算。 X86计算 套餐类型 根据实际情况选择套餐类型及桌面规格。 尊享版 尊享办公-2U4G 配置镜像。 镜像类型:根据实际需求选择镜像类型。 公共镜像是云桌面提供的常见的标准操作系统镜像,所有用户可见,包括操作系统及预装的应用。公共镜像具有高度稳定性,皆为正版授权,您也可以根据实际需求自助配置应用环境及相关软件。目前Windows公共镜像为市场镜像。 私有镜像是基于已有云桌面或外部镜像文件创建的个人镜像,仅用户自己可见。包含操作系统、预装的公共应用以及用户的私有应用。选择私有镜像创建云桌面,可以节省您重复配置云桌面的时间。 按需计费模式的云桌面支持Windows操作系统的公共镜像,以及通过Windows镜像生成的桌面转成的私有镜像和Windows镜像文件创建的弹性云服务器转成的私有镜像。如需使用私有镜像购买桌面,请参考桌面转镜像、制作Windows桌面私有镜像制作私有镜像。 操作系统:选择支持列表中支持的Windows操作系统类型。 配置磁盘,用户根据需求选择需要配置的磁盘,如图1所示。 图1 云硬盘配置信息 磁盘类型性能说明可参考云硬盘产品介绍。 高IO:是指由SAS存储提供资源的磁盘类型。 超高IO: 是指由SSD存储提供资源的磁盘类型。 通用型SSD:是指由通用型SSD存储提供资源的磁盘类型。 创建桌面成功后,磁盘会持续计费直到桌面被删除。 磁盘大小需以10的整数倍购买。 最多配置10个数据盘,请根据实际需要配置大小。 单击“下一步:高级配置”。 进入“高级配置”页面。
  • 确认配置 根据实际需要选择“企业项目”。 企业项目是一种云资源管理方式,企业项目管理服务提供统一的云资源按项目管理,以及项目内的资源管理、成员管理。 验证信息无误后,阅读并勾选“我已经阅读并同意《镜像免责声明》”。 单击“立即购买”,任务提交成功,单击“返回桌面管理”查看桌面是否创建成功。 如果创建失败请查看失败原因,请参考查看创建失败桌面。 新桌面购买成功后,配套登录信息默认将邮件发送给分配的终端用户,终端用户可以参考邮件激活账号,下载客户端并开始配置、使用云桌面。管理员可在“桌面管理”列表中查看已购桌面。
  • 高级配置 (可选)配置企业ID。 建议使用企业名称拼音等有辨识度的字段作为企业ID。 首次购买需设置企业ID,如果不自定义设置企业ID,系统会将自动生成的字符作为您的企业ID。 “企业ID”是您所在租户环境的唯一标识,终端用户登录时需要填写企业ID。 “企业ID”命名规则:不能大于32个字符,只能由大小写字母和数字组成。 配置网络。 图2 配置网络信息 云桌面预留172的网段作为内部服务运行网段,故请勿选择172开头的VPC网络,否则将无法成功购买桌面。 云桌面服务所需资源会被创建在所选择的虚拟私有云(VPC)子网内,首次购买桌面成功后VPC无法再修改,仅可管理业务子网。 配置已有网络。 单击,选择“业务子网”。如果您是首次购买桌面,则需选择“虚拟私有云”和“业务子网”,请参考创建虚拟私有云和业务子网。 配置新网络。 单击“单击此处管理子网”,进入“修改业务子网”窗口,单击“前往控制台创建”,创建新的“业务子网”,请参考为虚拟私有云创建业务子网。 如果您是首次购买桌面, 请单击“前往控制台创建”,创建新的“虚拟私有云”和“业务子网”,请参考创建虚拟私有云和业务子网。 单击,配置IP地址类型,用户根据需求选择。 自动分配IP地址。 指定IP地址。 使用已有的弹性网卡。 配置网络接入方式,如图3所示。默认已勾选“Internet接入”,允许多选。 图3 网络接入方式 通过Internet接入可以满足大多数场景的联网需求,如果您对网络质量和安全性有很高的要求,可提前购买云专线并进行网络施工。了解云专线接入开通专线接入会自动创建ELB(请勿修改,否则专线无法使用) 云专线网段信息配置:请输入云桌面客户端所在的网段信息(如:瘦终端所在的网段),可支持多个网段,以分号(;)分割。 配置桌面上网(EIP)。 现在购买。 按带宽计费:流量较大或较稳定的场景,带宽大小范围为1~200 Mbit/s,用户可根据界面提示的范围自定义。 指定宽带上限。按实际使用的出公网流量计费,与使用时间无关。 按流量计费:流量小或流量波动较大场景。带宽大小范围为5~200 Mbit/s,用户可根据界面提示的范围自定义。 按购买时长及宽带大小计费。 使用已有:为云桌面绑定已有的EIP。 暂不购买:后续如需开通桌面上网能力,请前往云桌面控制台-上网管理开通。 根据所需勾选是否“开启多人协同”。 开启多人协同后用户可快速在桌面间发起协同,提高沟通协作效率。 (可选)单击“高级”,输入“标签键”和“标签值”,单击“添加”,配置标签信息,如表2 标签命名规则所示。 如果您需要使用同一标签识别多种云资源,即所有服务均可在标签输入框下拉选择同一标签,建议在TMS中创建预定义标签,单击“查看预定义标签”,进入“预定义标签”页面进行创建。 如果您需要了解更多关于标签的信息,请参考《标签管理服务TMS用户指南》。 最多可以添加20个标签。 表2 标签命名规则 参数 规则 标签键 长度不超过36个字符。 标签的键可以包含任意语种字母、数字、空格和_.:=+-@,但首尾不能含有空格,不能以_sys_开头。 标签值 长度不超过43个字符。 标签的值可以包含任意语种字母、数字、空格和_.:/=+-@。 单击“下一步:分配桌面”。 进入“分配桌面”页面。
  • 基础配置 配置桌面信息,如表1 基础配置所示。 表1 基础配置 参数名称 说明 样例 计费方式 选择“按需计费” 按需计费 区域 不同区域的桌面之间内网互不相通,且需分区域管理桌面,推荐将桌面创建在同一区域。 说明: 区域是云桌面的物理数据中心所在的位置,区域不同即物理数据中心距离用户的物理距离不同,网络延迟不同。为了降低时延、提高访问速度,请就近选择靠近您业务的区域。 - 项目 根据实际情况选择项目。 说明: 如果没有目标项目,可单击,选择“新建项目”,进入创建项目页面。参考创建项目。 - 可用区 可用区是在同一区域下,电力、网络隔离的物理区域。可用区之间内网互通,不同可用区之间物理隔离,一个可用区发生故障后不会影响同一区域下的其他可用区。 说明: 如果您需要较高的容灾能力,建议您将桌面创建在不同的可用分区内。 随机分配 CPU架构 根据实际情况选择CPU架构。 例如,UOS桌面使用鲲鹏计算;Windows桌面使用X86计算。 X86计算 套餐类型 根据实际情况选择套餐类型及桌面规格。 尊享版 尊享办公-2U4G 配置镜像。 镜像类型:根据实际需求选择镜像类型。 公共镜像是云桌面提供的常见的标准操作系统镜像,所有用户可见,包括操作系统及预装的应用。公共镜像具有高度稳定性,皆为正版授权,您也可以根据实际需求自助配置应用环境及相关软件。目前Windows公共镜像为市场镜像。 私有镜像是基于已有云桌面或外部镜像文件创建的个人镜像,仅用户自己可见。包含操作系统、预装的公共应用以及用户的私有应用。选择私有镜像创建云桌面,可以节省您重复配置云桌面的时间。 按需计费模式的云桌面支持Windows操作系统的公共镜像,以及通过Windows镜像生成的桌面转成的私有镜像和Windows镜像文件创建的弹性云服务器转成的私有镜像。如需使用私有镜像购买桌面,请参考桌面转镜像、制作Windows桌面私有镜像制作私有镜像。 操作系统:选择支持列表中支持的Windows操作系统类型。 配置磁盘,用户根据需求选择需要配置的磁盘,如图1所示。 图1 云硬盘配置信息 磁盘类型性能说明可参考云硬盘产品介绍。 高IO:是指由SAS存储提供资源的磁盘类型。 超高IO: 是指由SSD存储提供资源的磁盘类型。 通用型SSD:是指由通用型SSD存储提供资源的磁盘类型。 创建桌面成功后,磁盘会持续计费直到桌面被删除。 磁盘大小需以10的整数倍订购。 最多配置10个数据盘,请根据实际需要配置大小。 单击“下一步:高级配置”。 进入“高级配置”页面。
  • 选择是否对接Windows AD 首次购买桌面后,您的选择将不支持变更(对接AD域或取消对接AD域),请慎重选择。 选择“不对接AD”,执行基础配置及后续操作,配置云桌面基础设施,购买桌面任务提交成功后,将为您部署云桌面服务。 开通服务成功后,通过华为自有的账号认证系统进行用户认证,可在云桌面控制台进行用户账号管理。 选择“对接AD”,前往配置AD域,详情请参考对接AD域,保存配置信息后,将为您部署云桌面服务。 开通服务成功后,通过企业已有的统一AD进行用户认证和用户账号管理。
  • 响应示例 { "count" : 17, "page_data" : [ { "configs" : { "mode": "0", "worksAuthorized": "0", "worksPublic": "1", "onlyAdminCreateDatasource": "0", "isPin": "1", "fieldShowType": "0", "worksView": "0" }, "create_time" : 1676984980510, "create_user" : "xxxxxx", "description" : "Description workspace information", "domain_id" : "xxxxxxx", "eps_id" : "xxxxxxxxxx", "id" : "xxxxxxxxxxxxx", "instance_id" : "xxxx7d17c41c414dabaa08f47c7dxxxx", "is_default" : 1, "name" : "Example workspace name", "owner_name" : "xxxxxx", "project_id" : "xxxxxxxb4dac4055888643b3xxxxxx", "update_time" : 1687167926377, "update_user" : "xxxxxxxx" } ] }
  • URI GET /v1/{project_id}/instances/{instance_id}/workspaces 表1 路径参数 参数 是否必选 参数类型 描述 instance_id 是 String 实例ID。 project_id 是 String 项目ID。获取方法请参考获取项目ID。 表2 Query参数 参数 是否必选 参数类型 描述 name 否 String 工作空间名称。支持模糊查询。 取值范围:[0,100] offset 否 Integer 返回条目的起始offset。 取值范围:[0,2147483647] 默认值:0 limit 否 Integer 返回条目数。不传该参数时,默认查询前10条信息。 取值范围:[0,2147483647] 默认值:10
  • API概览 本章节介绍了目前DataArts Insight所提供的API列表。 表1 DataArts Insight API列表 类型 说明 协同授权API 获取指定的数据源、数据集、仪表板、大屏的资源的详细信息。并对资源协同授权。 工作空间API 查询工作空间详情、创建工作空间、修改和删除工作空间的API操作指导。 用户标签API 创建用户标签、编辑用户标签、删除用户标签、保存用户标签内容、获取用户标签值和获取用户标签头的API操作指导。 数据集权限API 获取数据集权限列表、配置数据集权限、打开/关闭数据集权限、删除权限和获取数据集权限配置信息的API操作指导。 数据集API 查询数据集和目录列表、获取数据集详情、删除数据集和保存或修改数据集的API操作指导。 嵌入分析API 获取分享的嵌入分析信息的API操作指导。 导入导出参数API 配置导入导出参数的API操作指导。 产品实例API 查询用户已开通产品实例列表的API操作指导。 资源迁移API API导出资源包、获取导入任务详情和API导入资源包文件的API操作指导。 资源公共查询API 查询仪表板或者大屏列表的API操作指导。 数据源API 数据源更新、获取数据源详情、删除数据源、获取数据源列表和数据源新增的API操作指导。 通行证管理API 获取用户列表、更新用户通行证状态、增加配额关联用户、获取已分配通行证的用户列表和删除用户分配信息的API操作指导。 仪表板API 新建仪表板、更新仪表板、批量发布仪表板、批量下线仪表板和批量删除仪表板的API操作指导。 智能分析助手API 查询智能分析助手列表和自然语言查数的API操作指导。 大屏API 获取大屏组件列表和获取大屏指定组件数据的API操作指导。
  • 支持的授权项 策略包含系统策略和自定义策略,如果系统策略不满足授权要求,管理员可以创建自定义策略,并通过给用户组授予自定义策略来进行精细的访问控制。策略支持的操作与API相对应,授权项列表说明如下: 权限:允许或拒绝对指定资源在特定条件下进行某项操作。 对应API接口:自定义策略实际调用的API接口。 授权项:自定义策略中支持的Action,在自定义策略中的Action中写入授权项,可以实现授权项对应的权限功能。 依赖的授权项:部分Action存在对其他Action的依赖,需要将依赖的Action同时写入授权项,才能实现对应的权限功能。 IAM 项目(Project)/企业项目(Enterprise Project):自定义策略的授权范围,包括IAM项目与企业项目。授权范围如果同时支持IAM项目和企业项目,表示此授权项对应的自定义策略,可以在IAM和企业管理两个服务中给用户组授权并生效。如果仅支持IAM项目,不支持企业项目,表示仅能在IAM中给用户组授权并生效,如果在企业管理中授权,则该自定义策略不生效。 关于IAM项目与企业项目的区别,详情请参见:IAM与企业管理的区别。 “√”表示支持,“x”表示暂不支持。 DataArts Insight支持自定义策略授权项如下表所示。 表1 API授权项列表 权限 对应API接口 授权项 依赖的授权项 IAM项目 (Project) 企业项目 (Enterprise Project) 保存或修改资源属性值。 POST /v1/{project_id}/authorization/cooperate-authorization/properties dataartsinsight:resource:auth - √ × 获取资源属性值 GET /v1/{project_id}/authorization/cooperate-authorization/properties dataartsinsight:resource:auth - √ × 获取协同授权规则列表 GET /v1/{project_id}/authorization/cooperate-authorization/rules dataartsinsight:resource:auth - √ × 批量保存、修改、删除指定自研的协同授权规则。 POST /v1/{project_id}/authorization/cooperate-authorization/rules/batch-save dataartsinsight:resource:auth - √ × 创建工作空间 POST /v1/{project_id}/instances/{instance_id}/workspaces dataartsinsight:workspace:create - √ × 删除工作空间 DELETE /v1/{project_id}/instances/{instance_id}/workspaces/{workspace_id} dataartsinsight:workspace:delete - √ × 修改工作空间。 PUT /v1/{project_id}/instances/{instance_id}/workspaces/{workspace_id} dataartsinsight:workspace:update - √ ×
  • 响应示例 状态码: 200 组件返回数据。 { "cell_data" : [ [ { "caption" : "create_time(year)", "data_type" : "DATETIME", "level_type" : "yearLevel", "cell_raw_value" : null, "cell_value" : "create_time(year)", "model_type" : "dimension" } ], [ { "caption" : "create_time(year)", "data_type" : "DATETIME", "level_type" : "yearLevel", "cell_raw_value" : "2020", "cell_value" : "2020", "model_type" : "dimension" } ] ], "record_count" : 1 }
  • 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Workspace-Id 是 String 工作空间ID,即控制台的项目ID。 最小长度:0 最大长度:128 X-Auth-Token 是 String 用户Token。通过调用IAM服务获取IAM用户Token接口,接口返回的响应消息头中“X-Subject-Token”就是需要获取的用户Token。 最小长度:0 最大长度:8192 表3 请求Body参数 参数 是否必选 参数类型 描述 node_id 是 String 组件ID。 最小长度:0 最大长度:128 selectors 否 Array of selectors objects 筛选器列表。 数组长度:0 - 100 表4 selectors 参数 是否必选 参数类型 描述 selector_node_id 否 String 筛选器组件ID。 最小长度:0 最大长度:128 field_id 否 String 筛选器字段ID。 最小长度:0 最大长度:128 values 否 Array of objects 筛选器值。 数组长度:0 - 100
  • 响应参数 状态码: 200 表5 响应Body参数 参数 参数类型 描述 cell_data Array of OpenApiCellInfoList objects 返回数据列表。 cell_data默认第一行为字段名称。 数组长度:0 - 1000 record_count Integer 返回数据条数。 最小值:0 最大值:1000 表6 OpenApiCellInfoList 参数 参数类型 描述 cell_info_list Array of OpenApiCellInfo objects 数据列表。 数组长度:0 - 100 表7 OpenApiCellInfo 参数 参数类型 描述 caption String 字段名称。 最小长度:0 最大长度:128 data_type String 数据类型: DATETIME:时间类型。 STRING:字符类型。 NUMBER:数值类型。 最小长度:0 最大长度:128 level_type String 日期下的子类型,比如年、月、日等。 最小长度:0 最大长度:128 cell_raw_value Object 字段原始值。 cell_value Object 字段格式化后的值。 model_type String 字段类型。 dimension:维度。 measure:度量。 metric:指标。 最小长度:0 最大长度:128
  • 请求示例 获取大屏指定组件数据。 https://{endpoint}/v1/{project_id}/screens/{screen_id}/query-data { "node_id" : "9f7ff361-xxxx-482d-xxxx-57dd19bda14e", "selectors" : [ { "selector_node_id" : "d1e4b677-xxxx-4016-xxxx-dbd9a4bf2f20", "field_id" : "cca5cb5e-xxxx-4614-xxxx-8a4f90447ae0.field", "values" : [ "value1" ] } ] }
共100000条