检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
操作HBase数据源 场景说明 用户可以在Spark应用程序中以数据源的方式去使用HBase，将dataFrame写入HBase中，并从HBase读取数据以及对读取的数据进行过滤等操作。 数据规划 在客户端执行hbase shell，进入HBase命令行，使用下面的命令创建样例代码中要使用的HBase表：
基于BulkPut接口使用章节创建的HBase表及其中的数据进行操作。 开发思路 创建包含了要获取的rowkey信息的RDD。 以HBaseContext的方式操作HBase，通过HBaseContext的bulkGet接口获取HBase表上这些rowKey对应的数据。 打包项目 通过ID
ric 说明： XXX：驱动名，请以实际样例代码中的内容为准。 catalog、schema分别是JDBC客户端要连接的catalog和schema名称。 HSFabric_IP:HSFabric_Port是HSFabric的URL，多个URL以逗号隔开。例如：“192.168.81
除、启动和停止等操作，其成功与否需要在Loader WebUI确认或通过查询server端日志确认。 参数选项方式： 通过直接添加具体配置项的参数调用脚本。 作业模板方式： 修改作业模板中所有配置项的参数值，调用脚本时引用修改后的作业模板文件。 Loader客户端安装后，系统自动
除、启动和停止等操作，其成功与否需要在Loader WebUI确认或通过查询server端日志确认。 参数选项方式： 通过直接添加具体配置项的参数调用脚本。 作业模板方式： 修改作业模板中所有配置项的参数值，调用脚本时引用修改后的作业模板文件。 Loader客户端安装后，系统自动
访问Tez WebUI查看任务执行结果 Tez WebUI界面提供Tez任务执行过程图形化展示功能，使用户可以通过界面的方式查看Tez任务执行细节。 前提条件 当前MRS集群已安装Yarn服务的TimelineServer实例。 登录Tez WebUI界面 登录Manager系统
MRS是否支持Hive on Kudu？ 问： MRS是否支持Hive on Kudu？ 答： MRS不支持Hive on Kudu。 目前MRS只支持两种方式访问Kudu： 通过Impala表访问Kudu。 通过客户端应用程序访问操作Kudu表。 父主题： 组件配置类
操作HBase数据源 场景说明 用户可以在Spark应用程序中以数据源的方式去使用HBase，将dataFrame写入HBase中，并从HBase读取数据以及对读取的数据进行过滤等操作。 数据规划 在客户端执行hbase shell，进入HBase命令行，使用下面的命令创建样例代码中要使用的HBase表：
操作HBase数据源 场景说明 用户可以在Spark应用程序中以数据源的方式去使用HBase，将dataFrame写入HBase中，并从HBase读取数据以及对读取的数据进行过滤等操作。 数据规划 在客户端执行hbase shell，进入HBase命令行，使用下面的命令创建样例代码中要使用的HBase表：
操作HBase数据源 场景说明 用户可以在Spark应用程序中以数据源的方式去使用HBase，将dataFrame写入HBase中，并从HBase读取数据以及对读取的数据进行过滤等操作。 数据规划 在客户端执行hbase shell，进入HBase命令行，使用下面的命令创建样例代码中要使用的HBase表：
policy和hoodie.cleaner.commits.retained可以使用不同的清理策略和保存的commit数量。 执行cleaning有两种方式： 同步clean由参数hoodie.clean.automatic控制，默认自动开启。 关闭同步clean： datasource写入时可以通过
HCatalog应用开发环境 为了运行Presto组件的HCatalog接口样例代码，需要完成下面的操作。此处以在Windows环境下开发HCatalog方式连接Presto服务的应用程序为例。 操作步骤 参考获取MRS应用开发样例工程获取Presto示例工程。 在Presto示例工程根目录，执行mvn
据列指定压缩方式。 目前仅ORC格式的表支持ZSTD_JNI压缩方式，而普通的ZSTD压缩算法支持全量存储格式而不仅限于ORC，所以建议用户对数据压缩有特殊要求的场景下再使用此特性。 该章节内容仅适用MRS 3.2.0及之后版本。 创建ZSTD_JNI压缩表示例 以Hive客户端安装用户登录安装客户端的节点。
建议的配置方式： <property> <name>dfs.datanode.data.dir</name> <value>/data1/datadir/,/data2/datadir,/data3/datadir</value> </property> 不建议的配置方式： <property>
样例：通过Loader将数据从OBS导入HDFS 操作场景 用户需要将大量数据从集群外导入集群内的时候，可以选择从OBS导入到HDFS的方式。 前提条件 已准备业务数据。 已创建分析集群。 操作步骤 将业务数据上传到用户的OBS文件系统。 获取用户的AK/SK信息，然后创建一个OBS连接和一个HDFS连接。
policy和hoodie.cleaner.commits.retained可以使用不同的清理策略和保存的commit数量。 执行cleaning有两种方式： 同步clean由参数hoodie.clean.automatic控制，默认自动开启。 关闭同步clean： datasource写入时可以通过
器、FTP服务器之间交换数据和文件的ETL工具，支持将数据或文件从关系型数据库或文件系统导入到MRS系统中。 Loader支持如下数据导入方式： 从关系型数据库导入数据到HDFS/OBS 从关系型数据库导入数据到HBase 从关系型数据库导入数据到Phoenix表 从关系型数据库导入数据到Hive表
化规则，启发式的优化规则，仅仅根据逻辑计划本身的特点给出优化，没有考虑数据本身的特点，也就是未考虑算子本身的执行代价。Spark在2.2中引入了基于代价的优化规则（CBO）。CBO会收集表和列的统计信息，结合算子的输入数据集来估计每个算子的输出条数以及字节大小，这些就是执行一个算子的代价。
首先在计算引擎上（比如Impala）用SQL语句创建表对象； 然后通过Kudu的驱动往这个表里写数据； 在计算引擎上直接查询这个表里的数据。 在本开发程序示例中，为了不引入额外的计算引擎，将以Kudu为主，全部通过Java API接口来进行描述： 建立Kudu连接 创建Kudu表 写Kudu数据 修改Kudu表
化规则，启发式的优化规则，仅仅根据逻辑计划本身的特点给出优化，没有考虑数据本身的特点，也就是未考虑算子本身的执行代价。Spark在2.2中引入了基于代价的优化规则（CBO）。CBO会收集表和列的统计信息，结合算子的输入数据集来估计每个算子的输出条数以及字节大小，这些就是执行一个算子的代价。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
