检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
cd/opt/hadoopclient kinit<用于认证的业务用户> 在Linux系统HDFS客户端使用命令hadoop fs -mkdir /tmp/input（hdfs dfs命令有同样的作用），创建对应目录。 在Linux系统HDFS客户端使用命令hadoop fs -putlog1
amples", "test.txt"); /** * * 如果程序运行在Linux上，则需要core-site.xml、hdfs-site.xml的路径修改为在Linux下客户端文件的绝对路径 * * */ private static void
37:21088” - hive.metastore.sasl.enabled MetaStore服务是否使用SASL安全加固。表权限功能需要设置为“true”。 true hive.metastore.kerberos.principal Hive组件中MetaStore服务的Pr
在Windows或Linux上创建一个目录作为运行目录。 在Windows创建路径“D:\Spring”, 将“huawei-spring-boot-kafka-examples-*.jar”和application.properties上传到当前路径下面。 在Linux上创建路径“/
es导入到Eclipse开发环境，参见导入并配置Storm样例工程。 用WinScp工具将Storm客户端安装包导入Linux环境并安装客户端，参见准备Linux客户端环境。 如果集群启用了安全服务，需要从管理员处获取一个“人机”用户，用于认证，并且获取到该用户的keytab文件。将获取到的文件拷贝到示例工程的
JDBC/HCatalog开发环境 准备项 说明 操作系统 开发环境：Windows系统，支持Windows7以上版本。 运行环境：Windows系统或Linux系统。 如需在本地调测程序，运行环境需要和集群业务平面网络互通。 安装JDK 开发和运行环境的基本配置。版本要求如下： 服务端和客户端仅支持自带的OpenJDK，版本为1
3000”。 20 设置数据转换 单击“下一步”，进入“转换”界面，设置数据传输过程中的转换操作。算子的选择和参数设置具体请参考Loader算子帮助及表3。 表3 算子输入、输出参数设置 输入类型 输出类型 HBase输入 表输出 图3 算子操作方法示意 设置数据保存信息并运行作业
3000”。 20 设置数据转换 单击“下一步”，进入“转换”界面，设置数据传输过程中的转换操作。算子的选择和参数设置具体请参考Loader算子帮助及表3。 表3 算子输入、输出参数设置 输入类型 输出类型 Hive输入 表输出 图3 算子操作方法示意 设置数据保存信息并运行作业
页面。 密码/确认密码：设置admin用户密码，该密码请妥善保管。 登录方式：选择登录ECS节点的登录方式，本例选择“密码”方式。 用户名：默认为“root”，用于远程登录ECS机器。 密码/确认密码：设置root用户密码。 高级配置：开启高级配置，并设置“委托”： 单击“现有委
下载客户端”，“选择客户端类型”设置为“仅配置文件”，单击“确定”，等待客户端文件包生成后根据浏览器提示下载客户端到本地并解压。 MRS 3.3.0及之后版本，登录FusionInsight Manager页面，在“主页”右上方单击“下载客户端”，“选择客户端类型”设置为“仅配置文件”，单击
等于“3000”。 20 设置数据转换 单击“下一步”，进入“转换”界面，设置数据传输过程中的转换操作。算子的选择和参数设置具体请参考算子帮助及表3。 表3 算子输入、输出参数设置 输入类型 输出类型 Hive输入 表输出 图3 算子操作方法示意 设置数据保存信息并运行作业 单击
hbase.enabled”设置为“true”（该参数值默认为“false”，改为“true”后对已有业务没有影响。如果要卸载HBase服务，卸载前请将此参数值改回“false”），将配置项“spark.inputFormat.cache.enabled”设置为“false”。 提交命令
等于“3000”。 20 设置数据转换 单击“下一步”，进入“转换”界面，设置数据传输过程中的转换操作。算子的选择和参数设置具体请参考算子帮助及表3。 表3 算子输入、输出参数设置 输入类型 输出类型 HBase输入 表输出 图3 算子操作方法示意 设置数据保存信息并运行作业 单
JDBC/HCatalog开发环境 准备项 说明 操作系统 开发环境：Windows系统，支持Windows7以上版本。 运行环境：Windows系统或Linux系统。 如需在本地调测程序，运行环境需要和集群业务平面网络互通。 安装JDK 开发和运行环境的基本配置。版本要求如下： 服务端和客户端仅支持自带的OpenJDK，版本为1
hbase.enabled”设置为“true”（该参数值默认为“false”，改为“true”后对已有业务没有影响。如果要卸载HBase服务，卸载前请将此参数值改回“false”），将配置项“spark.inputFormat.cache.enabled”设置为“false”。 提交命令
场景二：准备Linux环境运行程序所需配置文件。 在节点中安装MRS集群客户端，例如客户端安装目录为“/opt/client”。 获取配置文件： 登录FusionInsight Manager，在“主页”右上方选择“更多 > 下载客户端”，“选择客户端类型”设置为“仅配置文件”
执行下列命令访问HTTP。 linux1:/opt/client # curl -i -X PUT --negotiate -u: "http://linux1:9870/webhdfs/v1/huawei?op=MKDIRS" 其中linux1表示<HOST>，9870表示<PORT>。
Windows本地hosts文件存放路径举例：“C:\WINDOWS\system32\drivers\etc\hosts”。 如果使用Linux环境调测程序，需在准备安装集群客户端的Linux节点并获取相关配置文件。 在节点中安装客户端，例如客户端安装目录为“/opt/client”。 客户端机器的时间
使用通用连接器连接MySQL时，在大数据量场景下，需要在MySQL的JDBC连接串中设置连接属性“useCursorFetch=true”。 名称：socketTimeout 值：20 设置数据源信息 单击“下一步”，进入“输入设置”界面，设置数据源信息。 表2 输入设置参数 参数名 说明 示例 架构名称 “表方式”模式下存在，数据库模式名。
使用通用连接器连接MySQL时，在大数据量场景下，需要在MySQL的JDBC连接串中设置连接属性“useCursorFetch=true”。 名称：socketTimeout 值：20 设置数据源信息 单击“下一步”，进入“输入设置”界面，设置数据源信息。 表2 输入设置参数 参数名 说明 示例 架构名称 “表方式”模式下存在，数据库模式名。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
