检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
据信息。 另外以MapReduce访问HDFS、HBase、Hive为例，介绍如何编写MapReduce作业访问多个服务组件。帮助用户理解认证、配置加载等关键使用方式。 Presto presto-examples 该样例工程提供以下JDBC/HCatalog样例程序： Presto
配置Hive详细参数。 hiveclient.properties 配置Hive详细参数。 user.keytab 对于Kerberos安全认证提供用户信息。 krb5.conf Kerberos Server配置信息。 core-site.xml 配置Hive详细参数。 在应用开
principal=hive/hadoop.hadoop.com;user.keytab=conf/hive.keytab"; 以上已经经过安全认证，所以Hive数据库的用户名和密码为null或者空。 如下： // 建立连接 connection = DriverManager.getConnection(url
all select * from stream_write_cow; Kafka端口号： 集群的“认证模式”为“安全模式”时为“sasl.port”的值，默认为“21007”。 集群的“认证模式”为“普通模式”时为“port”的值，默认为“9092”。如果配置端口号为9092，则需要配置“allow
principal="test@<系统域名>" useTicketCache=false storeKey=true debug=true; }; test：为准备集群认证用户信息创建的用户名称，例如developuser。 系统域名：登录FusionInsight Manager后，选择“系统 > 权限 >
购买一个包含有Hive组件的MRS集群，详情请参见购买自定义集群。 本文以购买的MRS 3.1.5版本的集群为例，组件包含Hadoop、Hive组件，集群开启Kerberos认证。 单击“立即购买”，等待MRS集群创建成功。 准备应用开发配置文件 集群创建成功后，登录FusionInsight Manager创建用
详情请参见购买自定义集群。 本文以购买的MRS 3.1.0版本的集群为例，组件包含Hadoop、Kafka组件，集群未开启Kerberos认证。 集群购买成功后，在MRS集群的任一节点内，安装集群客户端，具体操作可参考安装并使用集群客户端。 例如客户端安装在主管理节点中，安装目录为“/opt/client”。
务并备份数据。支持创建任务自动或手动备份数据。 前提条件 如果数据要备份至远端HDFS中，需满足以下条件： 准备一个用于备份数据的备集群，认证模式需要与主集群相同。 如果主集群部署为安全模式，且主备集群不是由同一个FusionInsight Manager管理，则必须配置系统互信
[ssl.truststore.location] [ssl.truststore.password] 执行命令启动程序消费数据。命令中如果携带认证密码信息可能存在安全风险，在执行命令前建议关闭系统的history命令记录功能，避免信息泄露。 bin/flink run --class
Streaming等多个样例工程。 若需要在本地Windows调测Spark样例代码，需参考准备Spark连接集群配置文件获取各样例项目所需的配置文件、认证文件，并手动将配置文件导入到Spark样例工程的配置文件目录中。 安装IntelliJ IDEA和JDK工具后，需要在IntelliJ IDEA中配置JDK。
Spark SQL需要配置Spark SQL语句(hql)和sql程序路径(hive_script_path)。 开启Kerberos认证的安全集群暂不支持使用该接口提交作业。 调试 您可以在API Explorer中调试该接口。 URI POST /v1.1/{projec
ndHttpPutRequest、sendHttpDeleteRequest方法，发送POST、GET、PUT、DELETE请求，执行登录认证、添加用户、查找用户、修改用户、删除用户的操作。 运行“ExportUsers”类，运行成功会有如下日志信息： 2020-10-19 14:25:02
* 购买数量 * 购买时长 本例中，在第一个计费周期内MRS普通版集群的使用量为1316秒，单价可在MRS价格计算器中查询。 抹零金额 华为云产品定价精度为小数点后8位（单位：元），因此在计费过程中会产生小数点后8位的资源使用费用。而在实际扣费时，仅扣除到小数点后2位，小数点后第
Manager创建备份Manager任务并备份数据。支持创建任务自动或手动备份数据。 前提条件 如果数据要备份至远端HDFS中，需满足以下条件： 准备一个用于备份数据的备集群，认证模式需要与主集群相同。 如果主集群部署为安全模式，且主备集群不是由同一个FusionInsight Manager管理，则必须配置系统互信
client”。 cd /opt/client 执行以下命令，配置环境变量。 source bigdata_env 执行以下命令，进行用户认证（普通模式跳过此步骤）。 kinit 组件业务用户 执行以下命令，切换到Kafka客户端安装目录。 cd Kafka/kafka 使用“kafka-configs
如果集群为普通模式，需先执行su - omm切换为omm用户。 执行以下命令配置环境变量。 source bigdata_env 如果集群为安全模式，执行以下命令认证hdfs身份。 kinit hdfs 是否调整带宽控制？ 是，执行5。 否，执行6。 执行以下命令，修改Balance的最大带宽，然后执行6。
如果集群为普通模式，需先执行su - omm切换为omm用户。 执行以下命令配置环境变量。 source bigdata_env 如果集群为安全模式，执行以下命令认证hdfs身份。 kinit hdfs 是否调整带宽控制？ 是，执行5。 否，执行6。 执行以下命令，修改Balance的最大带宽，然后执行6。
aging”），不能进行HDFS恢复操作，否则进行恢复的Distcp任务会由于文件丢失而导致恢复失败。 对系统的影响 恢复过程中会停止用户认证，用户无法开始新的连接。 数据恢复后，会丢失从备份时刻到恢复时刻之间的数据。 数据恢复后，需要重新启动HDFS的上层应用。 前提条件 如果
执行以下命令，切换到客户端安装目录。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 执行以下命令，进行用户认证。（普通模式跳过此步骤） kinit 组件业务用户 执行以下命令切换到Kafka客户端安装目录。 cd Kafka/kafka/bin 执
请从Flink服务端安装目录获取相关的依赖包。 请从Kafka环境中获取Kafka依赖包。 具体依赖包请查看参考信息。 配置Maven。 参考配置华为开源镜像仓章节描述，增加开源镜像仓地址等配置信息到本地Maven的“setting.xml”配置文件。 修改完成后，在IntelliJ IDEA选择“File
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
