检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
送数据（需要有Kafka权限用户）。 确保集群安装完成，包括HDFS、Yarn、Spark和Kafka。 本地新建文件“input_data1.txt”，将“log1.txt”的内容复制保存到“input_data1.txt”。 在客户端安装节点下创建文件目录：“/home/da
0/16 接口说明 注册服务器接口 注册服务器用来保存NettySink的IP、端口以及并发度信息，以便NettySource连接使用。为用户提供以下接口： public interface RegisterServerHandler { /** * 启动注册服务器
'com.huawei.bigdata.spark.examples.HBaseBulkLoadPythonExample') # 创建类实例并调用方法，传递sc._jsc参数 spark._jvm.HBaseBulkLoadPythonExample().hbaseBulkLoad(spark
'com.huawei.bigdata.spark.examples.HBaseBulkLoadPythonExample') # 创建类实例并调用方法，传递sc._jsc参数 spark._jvm.HBaseBulkLoadPythonExample().hbaseBulkLoad(spark
服务。 打通数据传输通道 当源集群与目标集群部署在同一区域的不同VPC时，请创建两个VPC之间的网络连接，打通网络层面的数据传输通道。请参见VPC对等连接。 当源集群与目标集群部署在同一VPC但属于不同安全组时，在VPC管理控制台，为每个安全组分别添加安全组规则。规则的“协议”为
过滤器提供了非常强大的特性来帮助用户提高HBase处理表中数据的效率。用户不仅可以使用HBase中预定义好的过滤器，而且可以实现自定义的过滤器。 协处理器 允许用户执行region级的操作，并且可以使用与RDBMS中触发器类似的功能。 Client 客户端直接面向用户，可通过Java API或HBase
申请弹性IP，并与新申请的ECS绑定，并配置安全组出入规则。 下载客户端程序。 登录MRS Manager系统。 选择“服务管理 > 下载客户端 ”，下载“完整客户端”到“远端主机”上，即下载客户端程序到新申请的弹性云服务器上。 登录存放下载的客户端的节点，再安装客户端。 执行以下命令解压客户端包：
x之前版本，单击集群名称，登录集群详情页面，选择“组件管理 > Hive > 服务配置”，单击“基础配置”下拉菜单，选择“全部配置”。 若集群详情页面没有“组件管理”页签，请先完成IAM用户同步（在集群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步）。 MRS
出非优化的join顺序。 开启列统计信息自动收集时，需要在reduce侧做聚合统计。对于没有reduce阶段的insert任务，将会多出reduce阶段，用于收集统计信息。 本章节适用于MRS 3.x及后续版本。 前提条件 已登录Hive客户端，具体操作请参见Hive客户端使用实践。
配置MRS集群通过IAM委托对接OBS 配置MRS集群通过IAM委托对接OBS 配置MRS集群组件回收站目录清理策略 集群服务对接OBS示例 配置MRS集群用户的OBS的细粒度访问权限 父主题： 配置MRS集群存算分离
compact.only.inline=false; 异步方式由spark-sql来实现。 如果需要在异步compaction时只执行已经产生的compaction调度计划而不创建新的调度计划，则需要通过set命令设置以下参数： set hoodie.compact.inline=true; set
使用Hue提交Oozie Hive2作业 操作场景 该任务指导用户通过Hue界面提交Hive2类型的Oozie作业。 操作步骤 创建工作流，请参考使用Hue创建工作流。 在工作流编辑页面，选择“HiveServer2 脚本”按钮，将其拖到操作区中。 在弹出的“HiveServer2
使用Hue提交Oozie Hive2作业 操作场景 该任务指导用户通过Hue界面提交Hive2类型的Oozie作业。 操作步骤 创建工作流，请参考使用Hue创建工作流。 在工作流编辑页面，选择“HiveServer2 脚本”按钮，将其拖到操作区中。 在弹出的“HiveServer2
送数据（需要有Kafka权限用户）。 确保集群安装完成，包括HDFS、Yarn、Spark和Kafka。 本地新建文件“input_data1.txt”，将“log1.txt”的内容复制保存到“input_data1.txt”。 在客户端安装节点下创建文件目录：“/home/da
进程健康状态监控 MRS提供业务实例的状态以及业务实例进程的健康指标的检查，能够让用户第一时间感知进程健康状态。 硬盘故障的自动处理 MRS对开源版本进行了增强，可以监控各节点上的硬盘以及文件系统状态。如果出现异常，立即将相关分区移出存储池；如果硬盘恢复正常（通常是因为用户更换了新硬盘），也会
cutor内存不足，导致占用CPU较高、Executor进程OOM等问题。 解决步骤 通过root用户登录Master1或Master2其中任意一节点，执行以下命令切换到omm用户。 su - omm 执行以下命令，修改“catalina.sh”脚本，搜索“JAVA_OPTS”
login_log(user,last_login); -- 0 07:15:30.000 假设有日志表记录用户距离上次登录的时间，那么这个结果表明平均登录时间间隔为0天7小时15分钟30秒 bool_and(boolean value) 描述：当每个输入值都是true，返回true，否则返回false。
0/16 接口说明 注册服务器接口 注册服务器用来保存NettySink的IP、端口以及并发度信息，以便NettySource连接使用。为用户提供以下接口： public interface RegisterServerHandler { /** * 启动注册服务器
程为： 加载HDFS服务配置文件，并进行kerberos安全认证。 认证通过后，实例化Filesystem。 此处kerberos安全认证需要使用到的keytab文件，请提前准备。 配置文件介绍 登录HDFS时会使用到如表1所示的配置文件。这些文件均已导入到“hdfs-examp
如何使用IDEA远程调试业务 问题 使用Storm客户端提交了业务之后，如何使用IDEA远程调试业务？ 回答 以调试WordCount程序为例，演示如何进行IDEA的远程调试： 登录FusionInsight Manager系统，选择“集群 > 待操作集群的名称 > 服务 > S
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
