检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在本地Windows环境中调测Spark应用 在程序代码完成开发后，您可以在Windows环境中运行应用。使用Scala或Java语言开发的应用程序在IDEA端的运行步骤是一样的。 Windows环境中目前只提供通过JDBC访问Spark SQL的程序样例代码的运行，其他样例代码暂不提供
在本地Windows环境中编包并运行Spark程序 操作场景 在程序代码完成开发后，您可以在Windows环境中运行应用。使用Scala或Java语言开发的应用程序在IDEA端的运行步骤是一样的。 Windows环境中目前只提供通过JDBC访问Spark SQL的程序样例代码的运行
在本地Windows环境中调测Spark应用 在程序代码完成开发后，您可以在Windows环境中运行应用。使用Scala或Java语言开发的应用程序在IDEA端的运行步骤是一样的。 Windows环境中目前只提供通过JDBC访问Spark SQL的程序样例代码的运行，其他样例代码暂不提供
DataSet DataSet是一个由特定域的对象组成的强类型集合，可通过功能或关系操作并行转换其中的对象。 每个Dataset还有一个非类型视图，即由多个列组成的DataSet，称为DataFrame。
SSS><HostName><RoleName><logLevel><Message> 2017-03-28 02:57:52 493 10-5-146-1 storm- INFO Nimbus start normally 审计日志 <用户名><用户IP><时间><操作><操作对象
权限要求 表1 操作权限要求 操作类型/作用对象 操作 权限要求 DATABASE CREATE DATABASE dbname [LOCATION "hdfs_path"] 如果指定了HDFS路径hdfs_path，需要是路径hdfs_path的所有者和具有RWX权限。
表1 使用MRS Kafka同步数据的CDL任务 数据源 目的端 描述 MySQL Hudi 该任务支持从MySQL同步数据到Hudi。 Kafka 该任务支持从MySQL同步数据到Kafka。 PgSQL Hudi 该任务支持从PgSQL同步数据到Hudi。
参数 值 s3.endpoint-name.endpoint OBS桶地址 s3.endpoint-name.access_key_id OBS ak，获取方法请参考如何获取访问密钥AK/SK s3.endpoint-name.secret_access_key OBS sk，获取方法请参考如何获取访问密钥
参数 值 s3.endpoint-name.endpoint OBS桶地址 s3.endpoint-name.access_key_id OBS ak，获取方法请参考如何获取访问密钥AK/SK s3.endpoint-name.secret_access_key OBS sk，获取方法请参考如何获取访问密钥
从Hudi同步数据到DWS或ClickHouse任务中，在Hudi中物理删除的数据目的端不会同步删除。例如，在Hudi中执行delete from tableName命令硬删除表数据，目的端DWS或ClickHouse仍存在该表数据。
mode System.setProperty("java.security.krb5.conf", KRB); LoginUtil.login(PRINCIPAL, KEYTAB, KRB, conf); } // 初始化Job任务对象
DELETE：请求服务器删除指定资源，如删除对象等。 HEAD：请求服务器资源头部。 PATCH：请求服务器更新资源的部分内容。当资源不存在的时候，PATCH可能会去创建一个新的资源。
用户已经在账号的对象存储服务（OBS）中创建了并行文件系统。 操作步骤 在MRS Manager，单击“系统设置”。 在“维护”下单击“审计日志导出”。 表2 审计日志导出参数 参数 示例 参数解释说明 审计日志导出 打开 必选参数，指定是否打开审计日志导出。
配置HBase主备集群数据自动备份 前提条件 主备集群已经安装并且启动。 主备集群上的时间必须一致，而且主备集群上的NTP服务必须使用同一个时间源。 当主集群HBase服务关闭时，Zookeeper和HDFS服务应该启动并运行。 该工具应该由启动HBase进程的系统用户运行。 如果处于安全模式
配置HBase主备集群数据自动备份 前提条件 主备集群已经安装并且启动。 主备集群上的时间必须一致，而且主备集群上的NTP服务必须使用同一个时间源。 当主集群HBase服务关闭时，ZooKeeper和HDFS服务应该启动并运行。 该工具应该由启动HBase进程的系统用户运行。 如果处于安全模式
Storage Policy关联的对象信息不支持修改数据存储path的信息，例如：bucket、endpoint、root_path等信息。 Storage Policy支持进行创建、修改和删除操作，删除前需要先保证没有表引用此Storage policy。
配置Windows通过EIP访问安全模式集群Hive 操作场景 该章节通过指导用户配置集群绑定EIP，并配置Hive文件的方法，方便用户可以在本地对样例文件进行编译。 本章节以运行hive-jdbc-example样例为例进行说明。 操作步骤 为集群的每个节点申请弹性公网IP，并将本地
配置Windows通过EIP访问普通模式集群HDFS 操作场景 该章节通过指导用户配置集群绑定EIP，并配置HDFS文件的方法，方便用户可以在本地对样例文件进行编译。 本章节以运行HdfsExample样例为例进行说明。 操作步骤 为集群的每个节点申请弹性公网IP，并将本地Windows
配置Windows通过EIP访问安全模式集群Hive 操作场景 该章节通过指导用户配置集群绑定EIP，并配置Hive文件的方法，方便用户可以在本地对样例文件进行编译。 本章节以运行hive-jdbc-example样例为例进行说明。 操作步骤 为集群的每个节点申请弹性公网IP，并将本地
配置Windows通过EIP访问安全模式集群HDFS 操作场景 该章节通过指导用户配置集群绑定EIP，并配置HDFS文件的方法，方便用户可以在本地对样例文件进行编译。 本章节以运行HdfsExample样例为例进行说明。 操作步骤 为集群的每个节点申请弹性公网IP，并将本地Windows
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
