检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
导入并配置Spark样例工程 操作场景 Spark针对多个场景提供样例工程，包含Java样例工程和Scala样例工程等，帮助客户快速学习Spark工程。 针对Java和Scala不同语言的工程，其导入方式相同。使用Python开发的样例工程不需要导入，直接打开Python文件（*
通模式不涉及） 使用HDFS客户端 安装客户端，详细操作请参考使用MRS客户端。 以客户端安装用户，登录安装客户端的节点。 执行以下命令，切换到客户端安装目录。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 如果集群为安全模式，执
根据业务情况，准备好客户端，使用root用户登录安装客户端的节点。 例如在Master2节点更新客户端，则在该节点登录客户端，具体参见使用MRS客户端。 切换用户与配置环境变量。 sudo su - omm source /opt/client/bigdata_env 启用Kerberos认证的
数据倾斜，需要均衡集群中的数据。以root用户登录MRS客户端，用户密码为安装前用户自定义，请咨询系统管理员。如果集群为普通模式，执行su - omm切换到omm用户。执行cd命令进入客户端安装目录，然后执行source bigdata_env。如果集群采用安全版本，要进行安全认证。执行kinit
使用Ranger安全区管理员用户登录Ranger管理页面。 在Ranger首页右上角的“Security Zone”选项的下拉列表中选择对应的安全区，即可切换至该安全区内的权限视图。 单击组件名称下的权限插件名称，即可进入组件安全访问策略列表页面。 各组件的策略列表中，系统默认生成的条目会自动继
RPC_PORT”的值，默认为“22260”。 （可选）根据需求可添加自定义配置。 单击“确定”。 登录集群客户端所在节点，执行以下命令，切换到客户端安装目录并认证用户。 cd /opt/client source bigdata_env kinit HetuEngine组件操作用户
查看ZooKeeper角色实例的IP地址。 记录ZooKeeper角色实例其中任意一个的IP地址即可。 登录安装客户端的节点。 执行以下命令，切换到客户端目录，例如“/opt/client/Kafka/kafka/bin”。 cd /opt/client/Kafka/kafka/bin
使用场景：适用于通过委托使用临时aksk访问OBS的Spark，Hadoop等Yarn作业。配置在客户端core-site.xml中。 升级完默认配置变更为false，MRS集群上的Yarn应用进程首先从节点级缓存服务meta中获取临时AKSK，meta故障时也不直接访问ECS元数据接口，以免触发流控导致节点被加入黑名单。
CoGroupedStreams：在窗口上对数据进行coGroup操作，可以实现流的各种join类型。 图1 Flink Stream的各种流类型转换 流数据输入 表1 流数据输入的相关接口 API 说明 def fromElements[T: TypeInformation](data:
CoGroupedStreams：在窗口上对数据进行coGroup操作，可以实现流的各种join类型。 图1 Flink Stream的各种流类型转换 流数据输入 表1 流数据输入的相关接口 API 说明 def fromElements[T: TypeInformation](data:
CoGroupedStreams：在窗口上对数据进行coGroup操作，可以实现流的各种join类型。 图1 Flink Stream的各种流类型转换 流数据输入 表1 流数据输入的相关接口 API 说明 def fromElements[T: TypeInformation](data:
已安装HDFS客户端。 配置Balance任务 使用客户端安装用户登录客户端所在节点。执行命令切换到客户端安装目录，例如“/opt/client”。 cd /opt/client 如果集群为普通模式，需先执行su - omm切换为omm用户。 执行以下命令配置环境变量。 source bigdata_env
已安装HDFS客户端。 配置Balance任务 使用客户端安装用户登录客户端所在节点。执行命令切换到客户端安装目录，例如“/opt/client”。 cd /opt/client 如果集群为普通模式，需先执行su - omm切换为omm用户。 执行以下命令配置环境变量。 source bigdata_env
Flume在重启后是否直接定位到文件最新的位置处，以读取最新的数据。 idleTimeout 120000 设置读取文件的空闲时间，单位：毫秒。如果在该时间内文件内容没有变更，关闭掉该文件，关闭后如果该文件有数据写入，重新打开并读取数据。 writePosInterval 3000 设置将元数据写入到文件的周期，单位：毫秒。
Flume在重启后是否直接定位到文件最新的位置处，以读取最新的数据。 idleTimeout 120000 设置读取文件的空闲时间，单位：毫秒。如果在该时间内文件内容没有变更，关闭掉该文件，关闭后如果该文件有数据写入，重新打开并读取数据。 writePosInterval 3000 设置将元数据写入到文件的周期，单位：毫秒。
要下载keytab文件。“人机”用户第一次登录时需修改密码。 使用Hive客户端 以客户端安装用户，登录安装客户端的节点。 执行以下命令，切换到客户端安装目录。 cd /opt/hadoopclient 执行以下命令配置环境变量。 source bigdata_env 根据集群认证模式，完成Hive客户端登录。
UDF。 关闭Kerberos认证的集群请参考注册UDF。 以root用户，登录IoTDBServer所在的节点，执行su - omm命令切换到omm用户，将1.a中的Jar包导入到目录“$BIGDATA_HOME/FusionInsight_IoTDB_*/install/Fu
过指定的IoTDBSourceOptions并在IoTDBSource中实现抽象方法convert()，convert()定义了您希望如何转换行数据。 其中在Session对象的参数里，设置IoTDBServer所在的节点IP、端口、用户名和密码。 待连接的IoTDBServer
应用场景 大数据在人们的生活中无处不在，在IoT、电子商务、金融、制造、医疗、能源和政府部门等行业均可以使用华为云MRS服务进行大数据处理。 海量数据分析场景 海量数据分析是现代大数据系统中的主要场景。通常企业会包含多种数据源，接入后需要对数据进行ETL（Extract-Tran
查看Master1节点 使用root用户登录Master1节点，密码为购买集群时配置的用于登录集群节点的“root”用户自定义密码。 执行以下命令切换到客户端软件包所在目录，并解压客户端软件包： cd /tmp/FusionInsight-Client/ tar -xvf FusionI
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
