正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
某个用户的基本信息,包括名字、性别、年龄。另有一个Flink业务2会不定时收到1条消息记录,消息记录该用户的名字、职业信息。 基于某些业务要求,开发的Flink应用程序实现功能:实时的以根据业务2中消息记录的用户名字作为关键字,对两个业务数据进行联合查询。 数据规划 业务1的数据
某个用户的基本信息,包括名字、性别、年龄。另有一个Flink业务2会不定时收到1条消息记录,消息记录该用户的名字、职业信息。 基于某些业务要求,开发的Flink应用程序实现功能:实时的以根据业务2中消息记录的用户名字作为关键字,对两个业务数据进行联合查询。 数据规划 业务1的数据
Double类型数值时,过滤结果与Hive不一致 现象描述 当在filter中使用更高精度的double数据类型的数值时,过滤结果没有按照所使用的filter的要求返回正确的值。 可能原因 如果filter使用更高精度的double数据类型的数值,系统将会对该值四舍五入进行比较,因此在这种情况下,即使
目前仅ORC格式的表支持ZSTD_JNI压缩方式,而普通的ZSTD压缩算法支持全量存储格式而不仅限于ORC,所以建议用户对数据压缩有特殊要求的场景下再使用此特性。 该章节内容仅适用MRS 3.2.0及之后版本。 创建ZSTD_JNI压缩表示例 以Hive客户端安装用户登录安装客户端的节点。
某个用户的基本信息,包括名字、性别、年龄。另有一个Flink业务2会不定时收到1条消息记录,消息记录该用户的名字、职业信息。 基于某些业务要求,开发的Flink应用程序实现功能:实时的以根据业务2中消息记录的用户名字作为关键字,对两个业务数据进行联合查询。 数据规划 业务1的数据
某个用户的基本信息,包括名字、性别、年龄。另有一个Flink业务2会不定时收到1条消息记录,消息记录该用户的名字、职业信息。 基于某些业务要求,开发的Flink应用程序实现功能:实时的以根据业务2中消息记录的用户名字作为关键字,对两个业务数据进行联合查询。 数据规划 业务1的数据
某个用户的基本信息,包括名字、性别、年龄。另有一个Flink业务2会不定时收到1条消息记录,消息记录该用户的名字、职业信息。 基于某些业务要求,开发的Flink应用程序实现功能:实时的以根据业务2中消息记录的用户名字作为关键字,对两个业务数据进行联合查询。 数据规划 业务1的数据
拓扑工作。若业务用户的密码被修改,或密码使用天数超过了默认密码策略指定的最大有效期,则会影响拓扑正常运行。MRS集群管理员需要根据企业安全要求,为Storm业务用户配置独立的密码策略。 如果不为Storm业务用户配置独立的密码策略,在修改业务用户密码以后,可以删除旧的拓扑并重新提交,使拓扑继续运行。
当需要提升Storm数据量处理性能时,可以通过拓扑调优的操作提高效率。建议在可靠性要求不高的场景下进行优化。 表1 调优参数 配置参数 默认值 调优场景 topology.acker.executors null Acker的执行器数量。当业务应用对可靠性要求较低,允许不处理部分数据,可设置参数值为“null”
单击待修改数据库用户密码的服务,选择“更多 > 修改数据库密码”,在弹出窗口中输入当前登录的用户密码确认身份,单击“确定”。 根据界面信息,输入新旧密码。 密码复杂度要求: 组件数据库用户密码字符长度为8~32。 至少需要包含大写字母、小写字母、数字、特殊字符~`!@#$%^&*()-+_=\|[{}];"
请根据以下业务场景对可靠性和性能要求进行评估,采用合理参数配置。 对于价值数据,这两种场景下建议Kafka数据目录磁盘配置raid1或者raid5,从而提高单个磁盘故障情况下数据可靠性。 参数配置项均为Topic级别可修改的参数,默认采用服务级配置。 可针对不同Topic可靠性要求对Topic进行
用于开发Spark应用程序的工具。版本要求:13.1.6及以上版本。 安装Scala Scala开发环境的基本配置。版本要求:2.11.0及以上版本。 安装Scala插件 Scala开发环境的基本配置。版本要求:0.35.683及以上版本。 安装Python Python开发环境的基本配置。版本要求:Python2
local inpath命令有如下权限要求,请对照下述要求是否满足: 由于所有的命令都是发送到主HiveServer上去执行的,所以要求此文件在HiveServer节点上。 HiveServer进程是以操作系统上的omm用户启动的,所以要求omm用户对此文件有读权限,对此文件的目录有读、执行权限。
密码维护建议 用户身份验证是应用系统的门户。用户的账户和密码的复杂性、有效期等需根据客户的安全要求进行配置。 对密码的维护建议如下: 专人保管操作系统密码。 密码需要满足一定的强度要求,例如密码最少字符数、混合大小写等。 密码传递时注意加密,尽量避免通过邮件传递密码。 密码需要加密存储。
机架间的主机通过交换机进行数据通信,且同一机架上的不同机器间的网络带宽要远大于不同机架机器间的网络带宽。在这种情况下网络拓扑规划应满足以下要求: 为了提高通信速率,希望不同主机之间的通信能够尽量发生在同一个机架之内,而不是跨机架。 为了提高容错能力,分布式服务的进程或数据需要尽可能存在多个机架的不同主机上。
安装和配置IDEA 用于开发Flink应用程序的工具。版本要求:2019.1或其他兼容版本。 安装Scala Scala开发环境的基本配置。版本要求:2.11.7。 安装Scala插件 Scala开发环境的基本配置。版本要求:1.5.4。 安装Maven 开发环境的基本配置。用于项目管理,贯穿软件开发生命周期。
集群在线扩缩容 大数据集群的处理能力通常可以通过增加集群的节点数来横向扩展,当集群规模不符合业务要求时,用户可以通过该功能进行集群节点规模的调整,进行扩容或者缩容;在缩容节点时,MRS会智能地选择负载最少或者迁移数据量最小节点,并且在缩容过程中,缩容节点不再接收新的任务,正在执行
41GB 480GB 备份数据保存位置 主备管理节点“数据存放路径/LocalBackup/” 默认任务保存的备份数据,请管理员根据企业运维要求,定期转移并保存到集群外部。 MRS 3.x及之后版本,管理员可直接创建DistCp备份任务将OMS、DBService和NameNode等的数据保存到外部集群。
7,则会报JDK版本错误的信息。 安装和配置IDEA 用于开发Flink应用程序的工具。版本要求:14.1.7。 安装Scala Scala开发环境的基本配置。版本要求:2.11.12。 安装Scala插件 Scala开发环境的基本配置。版本要求:1.5.4。 准备开发用户 参考准备Flink应用开发用户章节配置。
inpath命令有如下权限要求,请对照下述要求是否满足: 文件的owner需要为执行命令的用户。 当前用户需要对该文件有读、写权限。 当前用户需要对该文件的目录有执行权限。 由于load操作会将该文件移动到表对应的目录中,所以要求当前用户需要对表的对应目录有写权限。 要求文件的格式与表指定