检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
所在服务器的任意目录（例如“ /opt/female/” ）下。 运行任务 进入Spark客户端目录，调用bin/spark-submit脚本运行代码，运行命令分别如下（类名与文件名等请与实际代码保持一致，此处仅为示例）： 运行Scala和Java样例程序 bin/spark-submit
运行DataStream（Scala和Java）样例程序。 在终端另开一个窗口，进入Flink客户端目录，调用bin/flink run脚本运行代码。 Java bin/flink run --class com.huawei.bigdata.flink.examples.Fl
所在服务器的任意目录（例如“ /opt/female/” ）下。 运行任务 进入Spark客户端目录，调用bin/spark-submit脚本运行代码，运行命令分别如下（类名与文件名等请与实际代码保持一致，此处仅为示例）： 运行Scala和Java样例程序 bin/spark-submit
Projects”，在“Maven Projects”界面执行“项目名称 > Lifecycle”目录下的“clean”和“compile”脚本。 在IDEA界面左下方找到Terminal，单击进入终端，执行mvn clean install进行编译 当输出“BUILD SUCCE
Projects”，在“Maven Projects”界面执行“项目名称 > Lifecycle”目录下的“clean”和“compile”脚本。 在IDEA界面左下方找到Terminal，单击进入终端，执行mvn clean install进行编译 当输出“BUILD SUCCE
file.date.format 待导入文件的文件名中所包含的日志格式。 yyyyMMdd parameter.date.format 调用脚本时，所输入的日期格式，一般保持与“file.date.format”一致。 yyyyMMdd file.format.iscompressed
login manager failed,Incorrect username or password. 该脚本会自动连接到集群并调用refreshConfig.sh脚本下载并刷新客户端配置文件。 客户端默认使用安装目录下文件Version中的“wsom=xxx”所配置的浮动IP
file.date.format 待导入文件的文件名中所包含的日志格式。 yyyyMMdd parameter.date.format 调用脚本时，所输入的日期格式，一般保持与“file.date.format”一致。 yyyyMMdd file.format.iscompressed
所在服务器的任意目录（例如“ /opt/female/” ）下。 运行任务 进入Spark客户端目录，调用bin/spark-submit脚本运行代码，运行命令分别如下（类名与文件名等请与实际代码保持一致，此处仅为示例）： 运行Scala和Java样例程序 bin/spark-submit
日志文件名 描述 SparkResource2x日志 spark.log Spark2x服务初始化日志。 prestart.log prestart脚本日志。 cleanup.log 安装卸载实例时的清理日志。 spark-availability-check.log Spark2x服务健康检查日志。
日志文件名 描述 SparkResource2x日志 spark.log Spark2x服务初始化日志。 prestart.log prestart脚本日志。 cleanup.log 安装卸载实例时的清理日志。 spark-availability-check.log Spark2x服务健康检查日志。
所在服务器的任意目录（例如“ /opt/female/” ）下。 运行任务 进入Spark客户端目录，调用bin/spark-submit脚本运行代码，运行命令分别如下（类名与文件名等请与实际代码保持一致，此处仅为示例）： 运行Java或Scala样例代码 bin/spark-submit
updateRangerJks sh updateRangerJks.sh 主Master节点IP 主RangerAdmin节点IP 输入证书密码 该脚本会重启controller进程，在重启过程中，可能会影响到MRS Manager页面的查看，待controller进程重启后，会恢复正常。
S Loader作业流程 用户通过Loader界面进行数据导入导出作业，操作流程如图1所示。 图1 导入流程示意 用户也可以通过shell脚本来更新与运行Loader作业，该方式需要对已安装的Loader客户端进行配置。 父主题： 使用Loader
下载安装客户端，例如安装目录为“/opt/client”。进入“/opt/client/Spark2x/spark/bin”，执行mergetool.sh脚本。 加载环境变量 source /opt/client/bigdata_env source /opt/client/Spark2x/component_env
ntConfig”文件夹。 双击“MRS_Flink_ClientConfig/Flink”目录下的“flink_install.bat”脚本，安装成功后得到“lib”文件夹、“examples”文件夹。 “lib”文件夹：只包含Flink依赖jar包，Kafka依赖jar包请去对应组件的服务端安装目录查找并添加。
这样才能保证keytab文件被加载到executor的container中 进入Spark客户端目录，调用bin/spark-submit脚本运行代码，运行命令如下（类名与文件名等请与实际代码保持一致，此处仅为示例）： bin/spark-submit --master yarn
-tm 1024 运行flink-example.jar样例程序。 在终端另开一个窗口，进入Flink客户端目录，调用bin/flink run脚本运行代码。 bin/flink flink run --class com.huawei.bigdata.iotdb.FlinkIoTDBSink
这样才能保证keytab文件被加载到executor的container中 进入Spark客户端目录，调用bin/spark-submit脚本运行代码，运行命令如下（类名与文件名等请与实际代码保持一致，此处仅为示例）： bin/spark-submit --master yarn
下载安装客户端，例如安装目录为“/opt/client”。进入“/opt/client/Spark2x/spark/bin”，执行mergetool.sh脚本。 加载环境变量 source /opt/client/bigdata_env source /opt/client/Spark2x/component_env
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
