检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
器特别针对具体数据库类型进行优化,相对通用数据库连接器来说,导出、导入速度更快。 使用mysql-fastpath-connector时,要求在NodeManager节点上有MySQL的mysqldump和mysqlimport命令,并且此两个命令所属MySQL客户端版本与MyS
器特别针对具体数据库类型进行优化,相对通用数据库连接器来说,导出、导入速度更快。 使用mysql-fastpath-connector时,要求在NodeManager节点上有MySQL的mysqldump和mysqlimport命令,并且此两个命令所属MySQL客户端版本与MyS
器特别针对具体数据库类型进行优化,相对通用数据库连接器来说,导出、导入速度更快。 使用mysql-fastpath-connector时,要求在NodeManager节点上有MySQL的mysqldump和mysqlimport命令,并且此两个命令所属MySQL客户端版本与MyS
冲区减少shuffle和高速缓存块转移期间的垃圾回收。对于off-heap内存被严格限制的环境,用户可以将其关闭以强制所有来自Netty的申请使用堆内内存。 true spark.shuffle.io.retryWait (仅Netty方式)等待fetch重试期间的时间(秒)。重试引起的最大延迟为maxRetries
OBS OperateAccess的权限访问OBS。对于组件内置用户不建议绑定在委托中。 如需对组件内置用户在以下场景提交作业时配置委托,要求如下: 如需对spark-beeline的操作进行权限控制,开启Kerberos认证的集群配置用户名“spark”,未开启Kerberos认证的集群配置用户名“omm”。
冲区减少shuffle和高速缓存块转移期间的垃圾回收。对于off-heap内存被严格限制的环境,用户可以将其关闭以强制所有来自Netty的申请使用堆内存。 true spark.shuffle.io.retryWait (仅Netty方式)等待fetch重试期间的时间(秒)。重试引起的最大延迟为maxRetries
请从Flink服务端安装目录获取相关的依赖包。 请从Kafka环境中获取Kafka依赖包。 具体依赖包请查看样例工程运行依赖包参考信息。 配置Maven。 参考配置华为开源镜像仓章节描述,增加开源镜像仓地址等配置信息到本地Maven的“setting.xml”配置文件。 修改完成后,在IntelliJ IDEA选择“File
如果Worker的数量大于10个,实例滚动重启的时间可能会超过200分钟,期间请勿做其他运维操作。 计算实例滚动重启过程HetuEngine会释放Yarn资源并且重新申请,请保证滚动重启过程中Yarn资源的CPU和内存空闲资源足够启动Worker总数量20%的Worker,及该期间Yarn资源不被其他任务抢占,否则会导致实例滚动重启失败。
器特别针对具体数据库类型进行优化,相对通用数据库连接器来说,导出、导入速度更快。 使用mysql-fastpath-connector时,要求在NodeManager节点上有MySQL的mysqldump和mysqlimport命令,并且此两个命令所属MySQL客户端版本与MyS
器特别针对具体数据库类型进行优化,相对通用数据库连接器来说,导出、导入速度更快。 使用mysql-fastpath-connector时,要求在NodeManager节点上有MySQL的mysqldump和mysqlimport命令,并且此两个命令所属MySQL客户端版本与MyS
null,则返回null。如果偏移量指向不在分区内的行,则返回default_value,或者如果未指定,则返回null。lead()函数要求指定窗口顺序。不得指定窗框。 SELECT cookieid,createtime,url, ROW_NUMBER() OVER(PARTITION
所在主机信息和故障磁盘信息。 确认上报告警的节点是否为虚拟化环境。 是,执行3。 否,执行6。 请检查虚拟化环境提供的存储性能是否满足硬件要求,检查完毕之后执行4。 以root用户登录告警节点,执行df -h命令,查看输出内容是否包含“磁盘名”字段的值。 是,执行6。 否,执行5。
以必须配置ZooKeeper相关配置,配置项包括ZooKeeper地址,路径,安全认证等。 Environment: 对于JVM配置有特定要求的场景,可以通过配置项传递JVM参数到客户端,JobMananger,TaskManager等。 Yarn: Flink运行在Yarn集群
FlinkStreamJavaExample Flink构造DataStream的Java/Sacla示例程序。 本工程示例为基于业务要求分析用户日志数据,读取文本数据后生成相应的DataStream,然后筛选指定条件的数据,并获取结果。 FlinkStreamScalaExample
ion配置,支持将countDistinct语法转成所配置的近似算法。查询性能有数量级的提升。 近似算法的误差一般在1%以内。在数据准确度要求不高,比如趋势分析等,建议使用近似去重提升用户体验。 【使用精确去重查询】 耗时:1.280秒。 【使用近似查询】 耗时:0.061秒。
取该告警产生的故障磁盘信息。 确认上报告警的节点是否为虚拟化环境。 是,执行4。 否,执行7。 请检查虚拟化环境提供的存储性能是否满足硬件要求,检查完毕之后执行5。 以root用户登录告警节点,执行df -h命令,查看输出内容是否包含“磁盘名”字段的值,用户密码为安装前用户自定义,请咨询系统管理员。
角色创建完成后,可参考创建HetuEngine权限角色创建HetuEngine用户,并为其赋予相关角色权限。 SQL语句在HetuEngine中进行处理对应的权限要求如表5所示。 表5 使用HetuEngine表、列或数据 操作场景 用户需要的权限 DESCRIBE TABLE 查询(Select) ANALYZE
都运作良好。 然而,随着技术的发展,Hadoop逐渐被用于以随机I/O访问模式的操作为主的上层应用上,如Hive、HBase等,而这种时延要求较高的场景中,低时延的高速磁盘(如SSD磁盘)可以得到广泛的应用。为了支持这种特性,HDFS现在支持了异构存储类型,这样用户就可以根据自己
合运行在集群上的,由Driver进行协调。 在运行一个应用时,Driver会去连接集群管理器(Standalone、Mesos、YARN)申请运行Executor资源,并启动ExecutorBackend。然后由集群管理器在不同的应用之间调度资源。Driver同时会启动应用程序D
(MB)”需要同时修改为非-1的值才会生效。 对于开启了跨资源池调度的队列,在作业运行过程中不能删除已有资源池,否则可能会导致运行中的作业申请不到资源而持续阻塞。同样如果在作业运行过程中为队列配置新的资源池,那么此时已经处于运行状态的队列可能不能立即使用到新资源池的资源,新增的资源仅对修改后提交的作业有效。