检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在已有弹性伸缩策略右边单击“删除”按钮，在弹出的对话框中单击“确定”。 开启或关闭已有弹性伸缩策略 登录MRS管理控制台。 选择“现有集群”，选中一个运行中的集群并单击集群名称。进入集群详情页面。 选择“弹性伸缩”页签。 在已有弹性伸缩策略上单击“启用/关闭弹性伸缩策略”。 父主题： MRS集群Task节点弹性伸缩
本章节为您介绍使用Maxwell同步工具将线下基于binlog的数据迁移到MRS Kafka集群中的指导。 Maxwell是一个开源程序（https://maxwells-daemon.io），通过读取MySQL的binlog日志，将增删改等操作转为JSON格式发送到输出端(如控制台
已创建用户flume_hdfs并授权验证日志时操作的HDFS目录和数据。 确保集群网络环境安全。 操作步骤 在FusionInsight Manager管理界面，选择“系统 > 权限 > 用户”，选择“更多 > 下载认证凭据”下载用户flume_hdfs的kerberos证书文件并保存在本地。 图1
已创建用户flume_hdfs并授权验证日志时操作的HDFS目录和数据。 确保集群网络环境安全。 操作步骤 在FusionInsight Manager管理界面，选择“系统 > 权限 > 用户”，选择“更多 > 下载认证凭据”下载用户flume_hdfs的kerberos证书文件并保存在本地。 图1
创建Python任务 登录到集群Manager界面，在Yarn的WebUI页面上查看提交的pyspark应用。 图5 查看任务运行情况 验证pandas库调用。 图6 验证pandas 对接Jupyter常见问题 pandas本地import使用时，报错如下： 参考以下步骤进行处理： 执行命令python
操作场景 本章节主要介绍ClickHouse连接普通模式的Kafka，消费Kafka的数据。 前提条件 已创建Kafka集群，且为普通模式（关闭Kerberos认证）。 已创建ClickHouse集群，并且ClickHouse集群和Kafka集群网络可以互通，并安装ClickHouse客户端。
"test02"); 参考Hive数据脱敏，给hivetest表的字段b配置脱敏策略，验证脱敏是否生效： select * from hivetest; 如下图显示则表示数据脱敏成功： 图1 配置脱敏策略成功 验证脱敏策略的传递性： create table hivetest02 as select
优化 set session materialized_view_rewrite_enabled=true; - 验证查询是否能通过改写成物化视图进行SQL优化 验证查询SQL语句能否被mv.default.mv1改写优化 verify materialized view mvname(mv
读HDFS文件 功能简介 获取HDFS上某个指定文件的内容。 在完成后，需关闭所申请资源。 代码样例 如下是读文件的代码片段，详细代码请参考com.huawei.bigdata.hdfs.examples中的HdfsMain类。 /** * 读文件 * *
esourceManager (备)”实例，选择“更多 > 重启实例”，验证密码后重启实例。 等待备实例重启成功后，单击Yarn的“概览”页签，选择“更多 > 执行ResourceManager倒换”，验证密码后执行主备倒换。 等待主备倒换完成后，在Yarn服务页面选择“实例”页
Manager，选择“集群 > 服务 > Kafka > 更多 > 下载客户端”，下载客户端压缩文件到本地机器。 使用客户端根目录中的“ca.crt”证书文件生成客户端的“truststore”。 执行命令如下： keytool -noprompt -import -alias myservercert
配置DBService HA模块的SSL 操作场景 本任务将对安装DBService的集群进行手动配置DBService服务HA模块SSL的操作。 执行该操作后，如需还原，请执行还原DBService HA模块的SSL配置。 前提条件 MRS集群内主、备DBService节点的“
还原DBService HA模块的SSL配置 操作场景 本任务将对安装DBService的集群进行还原DBService服务HA模块SSL的操作。 前提条件 DBService服务HA模块已开启SSL配置。 检查DBService服务HA模块是否开启SSL配置： 查看“$BIGD
添加Spark2x的Ranger访问权限策略 操作场景 Ranger管理员可通过Ranger为Spark2x用户进行相关的权限设置。 Spark2x开启或关闭Ranger鉴权后，需要重启Spark2x服务。 需要重新下载客户端，或手动刷新客户端配置文件“客户端安装目录/Spark2x/spark
添加Spark2x的Ranger访问权限策略 操作场景 Ranger管理员可通过Ranger为Spark2x用户进行相关的权限设置。 Spark2x开启或关闭Ranger鉴权后，需要重启Spark2x服务。 需要重新下载客户端，或手动刷新客户端配置文件“客户端安装目录/Spark2x/spark
e=zooKeeper;zooKeeperNamespace=hiveserver2 图4 登录Hive 查询数据，验证Ranger是否已经集成成功。 图5 验证Ranger集成Hive 父主题： 使用Ranger（MRS 1.9.2）
readHostLocalDisk=true，本地磁盘读取shuffle数据，减少网络传输的开销。 开启spark.io.encryption.enabled=false，关闭shuffle过程写加密磁盘，提升shuffle效率。 开启spark.shuffle.service.enabled=true，启动sh
e客户端，验证Ranger是否已经完成集成HBase。 以客户端安装用户登录客户端安装节点，执行如下命令，进入hbase shell。 source /opt/client/bigdata_env hbase shell 图7 进入hbase shell 添加数据，验证Ranger是否已经集成成功。
样式。 本操作默认以“平铺视图”进行介绍。 在指定服务窗格右上角选择“ > 停止服务”验证密码并确认操作影响后，单击“确定”。 也可以单击待操作的服务名称，单击“概览”页右上角“停止服务”，验证密码并确认操作影响后，单击“确定”。 MRS 2.x及之前版本： 登录Manager后，单击“服务管理”。
*”表示读取其路径是以“/test”开头的所有文件。 说明： 为确保一致性，配置特定模式以仅缓存其他客户端不经常修改的文件。 正则表达式模式将仅验证URI的path部分，而不验证在Fully Qualified路径情况下的schema和authority。 - dfs.client.metadata.cache
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
