检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
/opt/client 其中“/opt/client”为用户自定义路径，此处仅为举例。 进入客户端安装目录/opt/client，执行下列命令初始化环境变量。 source bigdata_env 执行下列命令进行用户认证，这里以hdfs为例，用户可根据实际用户名修改（普通集群请跳过此步操作）。
credentials.hbase.enabled 是否打开获取HBase token的功能。如果需要Spark-on-HBase功能，并且配置了安全集群，参数值设置为“true”。否则设置为“false”。 false spark.serializer 用于串行化将通过网络发送或需要缓存的对象的类以序列化形式展现。
credentials.hbase.enabled 是否打开获取HBase token的功能。如果需要Spark-on-HBase功能，并且配置了安全集群，参数值设置为“true”。否则设置为“false”。 false spark.serializer 用于串行化将通过网络发送或需要缓存的对象的类以序列化形式展现。
t/client/Kafka/kafka/bin”。 cd /opt/client/Kafka/kafka/bin 执行以下命令，配置环境变量。 source /opt/client/bigdata_env 执行以下命令，进行用户认证。（普通模式跳过此步骤） kinit 组件业务用户
通过Sqoop读取MySQL数据并写parquet文件到OBS时失败 用户问题 通过Sqoop读取MySQL数据，然后直接写到OBS，指定parquet格式时写入报错，不指定parquet时不报错。 问题现象 原因分析 parquet格式不支持hive3，用Hcatalog方式写入。
程运行依赖包参考信息。 如果Flink开启了HA（MRS 3.2.0及以后版本），则RestAPI创建租户样例的“--hostName”参数值为FlinkServer的浮动IP。 父主题： 调测Flink应用
t/client/Kafka/kafka/bin”。 cd /opt/client/Kafka/kafka/bin 执行以下命令，配置环境变量。 source /opt/client/bigdata_env 执行以下命令，进行用户认证。 kinit 组件业务用户 MRS 3.x之
使用Kafka客户端 以客户端安装用户，登录安装客户端的节点。 执行以下命令，切换到客户端安装目录。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 执行以下命令，进行用户认证。（普通模式跳过此步骤） kinit 组件业务用户 执行以下命令切换到Kafka客户端安装目录。
取值范围： LOCAL_DB：本地元数据 RDS_POSTGRES：RDS服务PostgreSQL数据库 RDS_MYSQL：RDS服务MySQL数据库 gaussdb-mysql：云数据库GaussDB(for MySQL) 默认取值： 不涉及 cluster_id 否 String
以客户端安装用户，登录安装客户端的节点。 执行以下命令，切换到客户端安装目录。 cd /opt/hadoopclient 执行如下命令初始化环境变量。 source /opt/hadoopclient/bigdata_env 若集群开启Kerberos认证，需要执行以下步骤，若集群未开启Kerberos认证请跳过该步骤。
Spark连接Kafka认证错误 问题现象 MRS 2.1.0版本集群中Spark消费kafka数据，过一天以后就会出现认证失败的报错： 原因分析 集群版本和运行的程序包版本不匹配。 处理步骤 参考运行Spark Streaming 对接Kafka0-10样例程序进行相关配置。 当前集群为MRS
设置为“true”，表示打开该功能，日志会被收集到HDFS目录中。 设置为“false”，表示关闭该功能，表示日志不会收集到HDFS中。 修改参数值后，需重启Yarn服务使其生效。 说明： 在修改值为“false”并生效后，生效前的日志无法在WebUI中获取。 如果需要在WebUI界面
maxLatitude：Double类型，最大纬度 SPATIAL_INDEX.xxx.conversionRatio：Int类型，将经纬度小数值转换为整型值 用户可以按照上述格式为处理程序添加自己的表属性，并在自定义实现类中访问它们。originLatitude，gridSize及
maxLatitude：Double类型，最大纬度 SPATIAL_INDEX.xxx.conversionRatio：Int类型，将经纬度小数值转换为整型值 用户可以按照上述格式为处理程序添加自己的表属性，并在自定义实现类中访问它们。originLatitude，gridSize及
RocksDB作为状态后端时尽量使用MapState或ListState替换ValueState存储容器 RocksDB场景下，由于RocksDB是一个内嵌式的KV数据库，它的数据都是根据key和value进行存放的。对于map类数据，若使用ValueState，在RocksDB中作为一条记录存储，valu
设置为“true”，表示打开该功能，日志会被收集到HDFS目录中。 设置为“false”，表示关闭该功能，表示日志不会收集到HDFS中。 修改参数值后，需重启YARN服务使其生效。 说明： 在修改值为“false”并生效后，生效前的日志无法在WebUI中获取。 如果需要在WebUI界面
以客户端安装用户，登录安装客户端的节点。 执行以下命令，切换到客户端安装目录。 cd /opt/hadoopclient 执行如下命令初始化环境变量。 source /opt/hadoopclient/bigdata_env 执行如下操作进行安全认证。 准备一个提交Flink作业的用户。
/opt/client 其中“/opt/client”为用户自定义路径，此处仅为举例。 进入客户端安装目录“/opt/client”，执行下列命令初始化环境变量。 source bigdata_env REST接口 通过以下命令可跳过REST接口过滤器获取相应的应用信息。 获取JobHistory中所有应用信息：
查看安装输出信息，如有以下结果表示客户端运行环境安装成功： Components client installation is complete. 执行以下命令，配置环境变量。 source /opt/Flumeenv/bigdata_env 客户端数量是否为1。 是，采用单独安装模式，执行8，安装结束。 否，采用批量安装模式，执行9。
以客户端安装用户，登录安装客户端的节点。 执行以下命令，切换到客户端安装目录。 cd /opt/hadoopclient 执行如下命令初始化环境变量。 source /opt/hadoopclient/bigdata_env 如果集群开启Kerberos认证，需要执行以下步骤，如果集群
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
