正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Spark Streaming对接Kafka0-10样例程序开发思路 场景说明 假定某个业务Kafka每1秒就会收到1个单词记录。 基于某些业务要求,开发的Spark应用程序实现如下功能: 实时累加计算每个单词的记录总数。 “log1.txt”示例文件: LiuYang YuanJing
Flink向Kafka生产并消费数据应用开发思路 假定某个Flink业务每秒就会收到1个消息记录。 基于某些业务要求,开发的Flink应用程序实现功能:实时输出带有前缀的消息内容。 数据规划 Flink样例工程的数据存储在Kafka组件中。Flink向Kafka组件发送数据(需要
hfile.durable.sync” 当提升性能时,缺点是对于DataNode(默认是3个)同时故障时,存在小概率数据丢失的现象。对数据可靠性要求高的场景请慎重配置。 操作步骤 参数入口: 在FusionInsight Manager系统中,选择“集群 > 服务 > HBase >
ce WebUI界面,从PgSQL导入数据到Hudi。 前提条件 集群已安装CDL、Hudi服务且运行正常。 PgSQL数据库需要开启前置要求,操作步骤请参考PostgreSQL数据库修改预写日志的策略。 在FusionInsight Manager中创建一个人机用户,例如“cd
hfile.durable.sync” 当提升性能时,缺点是对于DataNode(默认是3个)同时故障时,存在小概率数据丢失的现象。对数据可靠性要求高的场景请慎重配置。 本章节适用于MRS 3.x及之后版本。 操作步骤 参数入口: 在FusionInsight Manager系统中,选择“集群
场景说明 场景说明 假定某个业务Kafka每1秒就会收到1个单词记录。 基于某些业务要求,开发的Spark应用程序实现如下功能: 实时累加计算每个单词的记录总数。 “log1.txt”示例文件: LiuYang YuanJing GuoYijun CaiXuyu Liyuan FangBo
Spark Streaming对接Kafka0-10样例程序开发思路 场景说明 假定某个业务Kafka每1秒就会收到1个单词记录。 基于某些业务要求,开发的Spark应用程序实现如下功能: 实时累加计算每个单词的记录总数。 “log1.txt”示例文件: LiuYang YuanJing
Spark Streaming对接Kafka0-10样例程序开发思路 场景说明 假定某个业务Kafka每1秒就会收到1个单词记录。 基于某些业务要求,开发的Spark应用程序实现如下功能: 实时累加计算每个单词的记录总数。 “log1.txt”示例文件: LiuYang YuanJing
ervice WebUI界面,从Hudi导入数据到DWS。 前提条件 集群已安装CDL、Hudi服务且运行正常。 DWS数据库需要开启前置要求,操作步骤请参考DWS数据库前置准备。 在FusionInsight Manager中创建一个人机用户,例如“cdluser”,加入用户组
运行环境:Windows系统或Linux系统。 如需在本地调测程序,运行环境需要和集群业务平面网络互通。 安装和配置IntelliJ IDEA 开发环境的基本配置。版本要求:JDK使用1.8版本,IntelliJ IDEA使用2019.1或其他兼容版本。 说明: 若使用IBM JDK,请确保IntelliJ IDEA中的JDK配置为IBM
推荐:使用“SNAPPY”压缩,适用于压缩比和读取效率要求均衡场景。 Create table xx (col_name data_type) stored as orc tblproperties ("orc.compress"="SNAPPY"); 可用:使用“ZLIB”压缩,适用于压缩比要求较高场景。 Create
Kafka高可靠使用说明 Kafka高可靠、高可用说明 Kafka消息传输保障机制,可以通过配置不同的参数来保障消息传输,进而满足不同的性能和可靠性要求的应用场景。 Kafka高可用、高性能 如果业务需要保证高可用和高性能,可以采用参数: 参数 默认值 说明 unclean.leader.election
推荐:使用“SNAPPY”压缩,适用于压缩比和读取效率要求均衡场景。 Create table xx (col_name data_type) stored as orc tblproperties ("orc.compress"="SNAPPY"); 可用:使用“ZLIB”压缩,适用于压缩比要求较高场景。 Create
目前DataNode支持通过配置“dfs.datanode.du.reserved”来配置预留磁盘空间大小。配置较小的数值不能满足更大的磁盘要求。但对于更小的磁盘配置更大的数值将浪费大量的空间。 为了避免这种情况,添加一个新的参数“dfs.datanode.du.reserved.
限管理,您可以使用统一身份认证服务(Identity and Access Management,简称IAM),如果华为账号已经能满足您的要求,不需要创建独立的IAM用户,您可以跳过本章节,不影响您使用MRS服务的其它功能。 默认情况下,新建的IAM用户没有任何权限,您需要将其加
目前DataNode支持通过配置“dfs.datanode.du.reserved”来配置预留磁盘空间大小。配置较小的数值不能满足更大的磁盘要求。但对于更小的磁盘配置更大的数值将浪费大量的空间。 为了避免这种情况,添加一个新的参数“dfs.datanode.du.reserved.
执行以下命令,修改ommdba用户密码。 mod_db_passwd ommdba 输入ommdba的原密码后,再输入两次新密码。 密码复杂度要求: 密码字符长度为16~32位。 至少需要包含大写字母、小写字母、数字、特殊字符~`!@#$%^&*()-+_=\|[{}];:",<.>/
端Sink性能不匹配进而导致整体业务性能不达标的场景。 本任务只针对于单通道的场景进行比较说明。 Flume业务配置及模块选择过程中,一般要求Sink的极限吞吐量需要大于Source的极限吞吐量,否则在极限负载的场景下,Source往Channel的写入速度大于Sink从Chan
初始化密码”。在弹出窗口中输入当前登录的管理员用户密码确认身份,单击“确定”,在确认对话框单击“确定”。 填写“新密码”和“确认新密码”,单击“确定”。 默认密码复杂度要求: 密码字符长度最小为8位。 至少需要包含大写字母、小写字母、数字、空格、特殊字符5种类型字符中的4种。支持的特殊字符为`~!@#$%^&*()-_=+|[{}];'
根据业务安全需要,管理员可以在Manager设置密码安全规则、用户登录安全规则及用户锁定规则。 密码策略涉及用户管理的安全性,请根据企业安全要求谨慎修改,否则会有安全性风险。 修改密码策略之后,再修改用户密码,此时新的密码策略才会生效。 此密码策略适用于Manager创建的人机用户