检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
schedule-tool工具使用示例 使用loader-backup工具备份作业数据 开源sqoop-shell工具使用指导 使用sqoop-shell工具导入数据到HDFS 使用sqoop-shell工具导入数据到HBase 父主题： 使用Loader
的操作。以下开发程序示例中，全部通过clickhouse-jdbc API接口来进行描述。 设置属性 建立连接 创建库 创建表 插入数据 查询数据 删除表 父主题： 开发ClickHouse应用
同时输出本批次被更新状态的session。 数据规划 在kafka中生成模拟数据（需要有Kafka权限用户） 确保集群安装完成，包括HDFS、Yarn、Spark2x和Kafka。 创建Topic。 {zkQuorum}表示ZooKeeper集群信息，格式为IP:port。 $KAFK
配置ClickHouse默认用户密码（MRS 3.1.2-LTS版本） ClickHouse集群创建成功后，可以通过ClickHouse客户端访问连接ClickHouse服务端，默认的用户名为“default”。 该操作指导ClickHouse集群创建成功后，设置ClickHouse的用户名密码。
代码完成开发后，您可以上传Jar包至Linux环境中运行应用。 前提条件 已安装客户端时： 已安装HBase客户端。 当客户端所在主机不是集群中的节点时，需要在客户端所在节点的hosts文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。 未安装HBase客户端时：
区字段为入职时间。 创建表代码实现请见创建Hive表。 加载雇员信息数据到雇员信息表“employees_info”中。 加载数据代码实现请见加载数据到Hive表中。 雇员信息数据如表1所示： 表1 雇员信息数据 编号 姓名 支付薪水币种 薪水金额 缴税税种 工作地 入职时间 1
使用Spark（MRS 3.x之前版本） 从零开始使用Spark 从零开始使用Spark SQL 使用Spark客户端 访问Spark Web UI界面 Spark对接OpenTSDB
Loader每个作业都需要关联一个连接器，连接器主要作用：对于数据导入到集群的场景来说，就是从外部数据源读取数据；对于数据从集群导出去的场景来说，就是将数据写入到外部数据源。上述示例配置的是一个SFTP数据源连接器。配置SFTP和FTP的数据源连接器需要设置密码并进行加密。密码加密方法如下：
Spark用户权限管理 SparkSQL用户权限介绍 创建SparkSQL角色 配置Spark表、列和数据库的用户权限 配置SparkSQL业务用户权限 配置Spark Web UI ACL Spark客户端和服务端权限参数配置说明 父主题： 使用Spark/Spark2x
安装使用集群外客户端时，连接集群端口失败 问题 安装集群外客户端或使用集群外客户端时，有时会出现连接Spark任务端口失败的问题。 异常信息：Failed to bind SparkUi Cannot assign requested address: Service ‘sparkDriver’
OBS表的授权只能针对用户组。 MRS 3.5.0之前版本，仅支持已启用Kerberos认证的集群的OBS级联授权。 操作场景 开启级联授权功能的集群极大地提升了鉴权易用性，用户只需在Ranger页面上对业务表进行一次授权，系统就会自动细粒度关联数据存储源的权限，不需要感知表的存储
进入DBService服务配置页面： MRS 3.x之前版本，单击集群名称，登录集群详情页面，选择“组件管理 > DBService > 服务配置”，单击“基础配置”下拉菜单，选择“全部配置”。 如果集群详情页面没有“组件管理”页签，请先完成IAM用户同步（在集群详情页的“概览”页签，单击“
根据车牌号聚合该车通过的所有收费站并排序，处理后数据如下： 车牌号1，[（通过时间，收费站3），（通过时间，收费站2），（通过时间，收费站4），（通过时间，收费站5）] 根据同行车要通过的收费站数量（例子里为3）分段该车通过的收费站序列，如上面的数据被分解成 ： 收费站3->收费站2->收费站4，
= count } 带checkpoint的数据源 source算子的代码，该段代码每发送10000条数据休息1秒钟，制作快照时将到目前为止已经发送的数据的条数保存在UDFState中；从快照中状态恢复时，读取UDFState中的数据条数并重新赋值给count变量。 下面代码片段
Sqoop常见问题 连接postgresql或者gaussdb时报错 使用hive-table方式同步数据报错 导入到Hive表时报错 父主题： 使用Sqoop
本地运行Spark程序连接MRS集群的Hive、HDFS 问题 本地运行Spark程序时，如何连接MRS集群的Hive和HDFS？ 回答 为每一个Master节点申请并绑定弹性公网IP。 在本地Windows上配置集群的ip与主机名映射关系。登录集群后台，执行命令cat /etc
建议该值设置为true，统一使用hive管理hudi表。 false hoodie.datasource.hive_sync.database 要同步给hive的数据库名。 default hoodie.datasource.hive_sync.table 要同步给hive的表名，建议这个值和hoodie
xml、hdfs-site.xml、hbase-site.xml文件，需要放置到"src/main/resources/conf"的目录下。 父主题： HBase数据读写示例程序
MapReduce二次开发远程调试 问题 MapReduce二次开发过程中如何远程调试业务代码？ 回答 MapReduce开发调试采用的原理是Java的远程调试机制，在Map/Reduce任务启动时，添加Java远程调试命令。 首先理解两个参数：“mapreduce.map.java
如何查看MRS作业的日志？ MRS Console页面作业管理，每一条作业支持查看日志，包含launcherJob日志和realJob日志。 launcherJob作业的日志，一般会在stderr和stdout中打印错误日志，如下图所示： realJob的日志，可以通过MRS Ma
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
