检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
对系统的影响 单副本的数据在节点故障时容易丢失，单副本的文件过多会对HDFS文件系统的安全性造成影响。 可能原因 DataNode节点故障。 磁盘故障。 单副本写入文件。
客户端配置文件 集群客户端配置文件，格式为tar。 用户凭据 FusionInsight Manager中用户的认证凭据，格式为tar。 “是否安全版本”选择“是”时存在此参数。 输入访问用户名后才可上传文件。
配置ClickHouse连接属性 在ClickhouseJDBCHaDemo、Demo、NativeJDBCHaDemo和Util文件创建connection的样例中设置连接属性，如下样例代码设置socket超时时间为60s。
配置HDFS存储策略 功能简介 为HDFS上某个文件或文件夹指定存储策略。 代码样例 登录FusionInsight Manager页面，选择“集群 > 待操作集群的名称 > 服务 > HDFS > 配置 > 全部配置”。
配置ClickHouse连接属性 在ClickhouseJDBCHaDemo、Demo、NativeJDBCHaDemo和Util文件创建connection的样例中设置连接属性，如下样例代码设置socket超时时间为60s。
数据规划 准备用户认证文件：登录Manager下载用户凭证，获取“user.keytab”和“krb5.conf”文件。
配置HDFS存储策略 功能简介 为HDFS上某个文件或文件夹指定存储策略。 代码样例 登录FusionInsight Manager页面，选择“集群 > 待操作集群的名称 > 服务 > HDFS > 配置 > 全部配置”。
配置ClickHouse连接属性 在ClickhouseJDBCHaDemo、Demo、NativeJDBCHaDemo和Util文件创建connection的样例中设置连接属性，如下样例代码设置socket超时时间为60s。
配置HDFS存储策略 功能简介 为HDFS上某个文件或文件夹指定存储策略。 代码样例 登录FusionInsight Manager页面，选择“集群 > 待操作集群的名称 > 服务 > HDFS > 配置 > 全部配置”。
命令格式： LOAD DATA INPATH 'path to data' INTO TABLE table_name OPTIONS ('...'); 每当Spark配置有viewFS文件系统时，当尝试从HDFS加载数据时，用户必须在LOAD语句中指定如“viewfs://”这样的路径或相对路径作为文件路径
jar包复制到客户端的lib文件夹内。
命令格式： LOAD DATA INPATH 'path to data' INTO TABLE table_name OPTIONS ('...'); 每当Spark配置有viewFS文件系统时，当尝试从HDFS加载数据时，用户必须在LOAD语句中指定如“viewfs://”这样的路径或相对路径作为文件路径
CSV格式数据导出 导出数据为CSV格式的文件，可能存在CSV注入的安全风险，请谨慎使用。
kinit HDFS组件操作用户 在Yarn命令行显式添加要访问的OBS文件系统。 使用以下命令访问OBS文件系统。
已准备开发环境及MRS集群相关配置文件，详情请参考准备连接Kafka集群配置文件。 操作步骤 获取样例工程文件夹。 参考获取MRS应用开发样例工程，获取样例代码解压目录中“src”目录下的样例工程文件夹“kafka-examples”。 获取配置文件。
source 客户端安装目录/bigdata_env source 客户端安装目录/Hudi/component_env 修改配置文件： vim 客户端安装目录/Hudi/hudi/conf/hdfs-site.xml <property> <name>dfs.namenode.acls.enabled
已准备开发环境及MRS集群相关配置文件，详情请参考准备连接Kafka集群配置文件。 操作步骤 获取样例工程文件夹。 参考获取MRS应用开发样例工程，获取样例代码解压目录中“src”目录下的样例工程文件夹“kafka-examples”。 获取配置文件。
样例 通过“CSV文件输入”算子，生成十二个字段。
CSV格式数据导出 导出数据为CSV格式的文件，可能存在CSV注入的安全风险，请谨慎使用。
jar包复制到客户端的lib文件夹内。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
