检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Spark客户端使用实践 本章节提供从零开始使用Spark，提交Spark应用程序，包括Spark Core及Spark SQL。其中，Spark Core为Spark的内核模块，主要负责任务的执行，用于编写Spark应用程序；Spark SQL为执行SQL的模块。 场景说明 假
）拥有相应的权限。完整的HetuEngine权限模型由元数据权限与HDFS文件权限组成。使用数据库或表时所需要的各种权限都是HetuEngine权限模型中的一种。 元数据权限 元数据权限即在元数据层上进行权限控制，与传统关系型数据库类似，HetuEngine数据库包含“建表”和“
当执行结果输出到文件或者其他，由Flink应用程序指定，您可以通过指定文件或其他获取到运行结果数据。以下用Checkpoint、Pipeline和配置表与流JOIN为例： 查看Checkpoint结果和文件 结果在flink的“taskmanager.out”文件中。用户可以进入Yarn的WebUI页面，选择“Jobs
时长。 HetuEngine提供了统一标准SQL实现跨源协同分析，简化跨源分析操作。 图1 永洪BI访问MRS HetuEngine 约束与限制 已安装Yonghong Desktop 9.1版本。 适用于LTS版的MRS 3.1.2及以后版本集群。 步骤一：创建MRS集群和计算实例
MySQL引擎用于将远程的MySQL服务器中的表映射到ClickHouse中，并允许您对表进行INSERT和SELECT查询，以方便您在ClickHouse与MySQL之间进行数据交换。 MySQL引擎使用语法： CREATE DATABASE [IF NOT EXISTS] db_name [ON
spark2x服务 （JobHistory2x、JDBCServer2x和SparkResource2x三个实例对应的参数都需要修改）。 与HTTP服务访问相比，以HTTPS方式访问Spark2x的JobHistory时，由于使用了SSL安全加密，需要确保curl命令所支持的SS
此工具为Loder的内部接口，供上层组件HBase调用，只支持HDFS到SFTP的数据备份。 本章节适用于MRS 3.x及后续版本。 前提条件 完成了Loader客户端的安装与配置，具体操作请参见使用命令行运行Loader作业。 操作步骤 使用安装客户端的用户登录客户端所在节点，具体操作请参见使用命令行运行Loader作业。
quorum”也可以使用配置文件中的配置项“spark.deploy.zookeeper.url”来代替。 在网络拥塞的情况下，您还可以设置客户端与JDBCServer连接的超时时间，可以避免客户端由于无限等待服务端的返回而挂起。使用方式如下： 在执行“DriverManager.get
待导入文件的文件名中所包含的日志格式。 yyyyMMdd parameter.date.format 调用脚本时，所输入的日期格式，一般保持与“file.date.format”一致。 yyyyMMdd file.format.iscompressed 待导入的文件是否为压缩文件。
此工具为Loder的内部接口，供上层组件HBase调用，只支持HDFS到SFTP的数据备份。 前提条件 完成了Loader客户端的安装与配置，具体操作请参见使用客户端运行Loader作业。 操作步骤 使用安装客户端的用户登录客户端所在节点，具体操作请参见使用客户端运行Loader作业。
rver2服务通过python来访问HBase服务。python样例仅支持在Linux环境中运行，调测HBase python样例程序需有与集群环境网络相通的ECS，详情请参见准备本地应用开发环境，并需要安装python环境，安装包下载详情请参见：https://www.python
一个源文件可分割至多个map，数据保存至输出目录时保存的文件数与map数量相同，文件名格式为“import_part_xxxx”，“xxxx”为系统生成的随机数，具有唯一性。 FILE 过滤类型 选择文件过滤的条件，与“路径过滤器”、“文件过滤器”配合使用。 选择“WILDCARD”，表示使用通配符过滤。
MRS样例工程获取地址为https://github.com/huaweicloud/huaweicloud-mrs-example，切换分支为与MRS集群相匹配的版本分支，然后下载压缩包到本地后解压，即可获取各组件对应的样例代码工程。 当前MRS提供以下Flink相关样例工程，安全模
x及之后版本。 对系统的影响 修改Manager系统域名时，需要重启所有集群，集群在重启期间无法使用。 修改域名后，Kerberos管理员与OMS Kerberos管理员的密码将重新初始化，请使用默认密码并重新修改。组件运行用户的密码是系统随机生成的，如果用于身份认证，请参见下载
发、停止、编辑、删除、查看作业详情和Checkpoint故障恢复等操作。 如果要使用其他用户在节点上读取已提交的作业相关文件，需确保该用户与提交作业的用户具有相同的用户组和具有对应的FlinkServer应用管理权限角色，如参考创建FlinkServer权限角色勾选“应用查看”。
HetuEngine提供了统一标准SQL实现跨源协同分析，简化跨源分析操作。 图1 Tableau访问MRS HetuEngine 约束与限制 已安装Tableau Desktop 2022.2版本。 适用于LTS版的MRS 3.1.2及以后版本集群。 步骤一：创建MRS集群和计算实例
好作业后，可使用schedule-tool工具执行作业。 本章节适用于MRS 3.x及后续版本。 前提条件 完成了Loader客户端的安装与配置，具体操作请参见使用命令行运行Loader作业。 操作步骤 在SFTP服务器的“/opt/houjt/test03”路径中，创建多个以“table1”为前缀，“
JavaHBaseBulkDeleteExample SparkOnHbaseJavaExample.jar bulktable python版本（文件名等与实际保持一致，此处仅为示例），假设对应的Java代码打包后包名为SparkOnHbaseJavaExample.jar，且放在当前提交目录。
JavaHBaseBulkDeleteExample SparkOnHbaseJavaExample.jar bulktable python版本（文件名等与实际保持一致，此处仅为示例），假设对应的Java代码打包后包名为SparkOnHbaseJavaExample.jar，且放在当前提交目录。
map，数据保存至输出目录时保存的文件数与map数量相同，文件名格式为“import_part_xxxx”，“xxxx”为系统生成的随机数，具有唯一性。 FILE Map数 配置数据操作的MapReduce任务中同时启动的Map数量。不可与“Map数据块大小”同时配置。参数值必须
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
