检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
安装包含Flink、HBase等服务的客户端，安装路径如：/opt/hadoopclient。 以客户端安装用户登录安装客户端的节点，复制HBase的“/opt/client/HBase/hbase/conf/”目录下的所有配置文件至部署FlinkServer的所有节点的一个空目录，如“/tm
（可选）单击“+”按钮展开更多选项，选择已创建的ENV，默认为“defaultEnv”。 单击“确定”，完成Hudi作业参数配置。 作业参数配置完成后，拖拽图标将作业进行关联，然后单击“保存”，作业配置完成。 在“作业管理”的作业列表中，找到创建的作业名称，单击操作列的“启动”，等待作业启动。 观
zookeeper.url”查看。 “efak.url”的值为MySQL JDBC连接字符串，具体以实际为准。 “efak.username”的值为连接数据库使用的用户名称。 “efak.password”的值为连接数据库使用的用户名称所对应的密码。 启动EFAK服务。 sh /opt/efak/efak-web-3
偏高的资源，然后采取针对性的优化措施。 监控资源利用率，评估当前配置是否过高。例如：CPU、内存、云硬盘、带宽等资源的利用率。 监控闲置的资源，避免浪费。例如：未挂载的云硬盘、未绑定的EIP等。 计费模式优化 不同类型的业务对资源使用周期有不同的要求，为每一类业务确定合适的计费模式，灵活组合以达到最优效果。
CDL是一种简单、高效的数据实时集成服务，能够从各种OLTP数据库中抓取Data Change事件，然后推送至Kafka中，最后由Sink Connector消费Topic中的数据并导入到大数据生态软件应用中，从而实现数据的实时入湖。 CDL服务包含了两个重要的角色：CDLConn
Kerberos服务的renewable、forwardable开关和票据刷新周期的设置在Kerberos服务的配置页面的“系统”标签下，票据刷新周期的修改可以根据实际情况修改“kdc_renew_lifetime”和“kdc_max_renewable_life”的值。 下载并安装
Flink DataStream Java样例代码 功能简介 统计连续网购时间超过2个小时的女性网民信息，将统计结果直接打印。 代码样例 下面代码片段仅为演示，具体代码参见com.huawei.flink.example.stream.FlinkStreamJavaExample：
第一次采集的数据中，第4列的数字是“rd_ios_old”，第8列的数字是“wr_ios_old”，第13列的数字是“tot_ticks_old”。 第二次采集的数据中，第4列的数字是“rd_ios_new”，第8列的数字是“wr_ios_new”，第13列的数字是“tot_ticks_new”。 则上图中svctm值为：
需要添加组件操作用户到Ranger策略中的URL策略，URL填写对象在OBS上的完整路径，权限选择Read, Write 权限，其他权限不涉及URL策略。详细操作MRS 3.x之前版本请参考在Ranger中配置Hive的访问权限，MRS 3.x及之后版本请参考添加Hive的Ranger访问权限策略。
x及以后版本。 修改集群节点机架信息对系统的影响 修改主机机架名称，将影响HDFS的副本存放策略、Yarn的任务分配及Kafka的Partition存储位置。修改后需重启HDFS、Yarn和Kafka，使配置信息生效。 不合理的机架配置会导致集群的节点之间的负载（包括CPU、内存、磁盘、网
e，导出kafka样例工程依赖的jar包，比如放到kafka-examples-lib目录。 在第一步指定的目录下生成一个Jar包和一个存放lib的文件夹。 将刚才生成的依赖库文件夹（此处为“kafka-examples-lib”）拷贝到MRS服务的某个Linux环境上任意目录下
AUTHORIZATION”区域的组件插件名称“OBS”，为对应用户的用户组赋予OBS存储路径的“Read”和“Write”的权限。 例如，为“hgroup1”用户组赋予“obs://obs-test/test/”目录的“Read”和“Write”的权限： 图7 为用户组赋予OBS路径读和写的权限 在首页中单击“HADOOP
（可选）单击“+”按钮展开更多选项，选择已创建的ENV，默认为“defaultEnv”。 单击“确定”，完成Hudi作业参数配置。 作业参数配置完成后，拖拽图标将作业进行关联，然后单击“保存”，作业配置完成。 在“作业管理”的作业列表中，找到创建的作业名称，单击操作列的“启动”，等待作业启动。 观
（可选）单击“+”按钮展开更多选项，选择已创建的ENV，默认为“defaultEnv”。 单击“确定”，完成Hudi作业参数配置。 作业参数配置完成后，拖拽图标将作业进行关联，然后单击“保存”，作业配置完成。 在“作业管理”的作业列表中，找到创建的作业名称，单击操作列的“启动”，等待作业启动。 观
HDFS是Hadoop的分布式文件系统（Hadoop Distributed File System），实现大规模数据可靠的分布式读写。HDFS针对的使用场景是数据读写具有“一次写，多次读”的特征，而数据“写”操作是顺序写，也就是在文件创建时的写入或者在现有文件之后的添加操作。HDFS
时，应该选择对应类型的连接，每种连接在该场景中需要配置连接的属性。 本章节适用于MRS 3.x之前版本。 obs-connector 表1 obs-connector数据源连接属性 参数 说明 桶名 保存源数据的OBS文件系统。 源目录或文件 源数据实际存储的形态，可能是文件系统
选中需要升级Master节点规格的集群并单击集群名，进入集群信息页面。 在“节点管理”页签Master节点组的“操作”列选择“升级规格”。 选择升级后的规格，单击“下一步”。 选择升级后的规格时，务必确保待升级规格资源足够，以免出现升级完备节点后规格资源不足无法继续升级主节点的情况。 在弹出的“确认”页
DEBUG表示记录系统及系统的调试信息。 如果您需要修改日志级别，请执行如下操作： 请参考修改集群服务配置参数，进入Kafka的“全部配置”页面。 左边菜单栏中选择所需修改的角色所对应的日志菜单。 选择所需修改的日志级别。 保存配置，在弹出窗口中单击“确定”使配置生效。 日志格式 Kafka的日志格式如下所示：
Files”页面，选中“lib”目录下的所有Jar包，然后单击“OK”。 Flink相关的依赖包：选择“lib”目录下的所有Jar包。或者可以根据不同样例工程，最小化选择其对应的Jar包。 当样例代码使用其他MRS组件时，请去对应MRS组件的服务端安装目录查找并添加依赖包。 图19
Manager，进入Yarn服务的原生页面，找到对应作业的Application，单击Application名称，进入到作业详情页面。 若作业尚未结束，可单击“Tracking URL”链接进入到Flink的原生页面，查看作业的运行信息。 若作业已运行结束，对于在session中提交的作业，可以单击“Tracking
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
