检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
maxFileSize 2146435071 单个缓存文件的最大值，单位：bytes。 minimumRequiredSpace 524288000 缓冲区空闲空间最小值，单位：bytes。 capacity 1000000 缓存在channel中的最大Event数。 transactionCapacity
跨站请求（CSRF）伪造防范： 适用于MRS 3.x及之后版本。 说明：在B/S应用中，对于涉及服务器端数据改动（如增加、修改、删除）的操作必须进行跨站请求伪造的防范。跨站请求伪造是一种挟制终端用户在当前已登录的Web应用程序上执行非本意的操作的攻击方法。 安全加固：现有请求修改的接口有2个
Manager页面，请继续操作后续步骤。 查找证书。 单击浏览器左上角，单击“证书无效”所在行的。 获取证书。 选中该证书拖动到电脑桌面，即可获得证书。 在Mac应用中选择钥匙串访问。 “钥匙串”选择“登录”，“种类”选择“证书”。 将步骤3获得的证书拖动到钥匙串列表中。 双击证书将该证书设置为“始终信任”并关闭弹窗。
ClickHouseServer(角色) > 安全”，修改以下参数： 参数 参数说明 CLICKHOUSE_OPENSOURCE_COMMUNITY 此参数应用于是否支持对接开源ClickHouse。默认为false，不支持对接开源ClickHouse。设置为true，则支持对接开源ClickHouse
s.log”文件中。 跨站请求（CSRF）伪造防范： 说明：在B/S应用中，对于涉及服务器端数据改动（如增加、修改、删除）的操作必须进行跨站请求伪造的防范。跨站请求伪造是一种挟制终端用户在当前已登录的Web应用程序上执行非本意的操作的攻击方法。 安全加固：现有请求修改的接口有2个
集群日志转储至OBS的具体路径。开启日志转储功能后，日志上传需要对应OBS路径的读写权限，请配置MRS_ECS_DEFULT_AGENCY默认委托或具有对应OBS路径读写权限的自定义委托。具体请参见配置存算分离集群（委托方式）。该参数只适用于支持“集群日志转储OBS”特性的集群版本。
Hive运行时生成的临时数据，如会话信息等 否 当前执行的任务会失败 /user/{user}/.sparkStaging 固定目录 存储SparkJDBCServer应用临时文件 否 executor启动失败 /user/spark2x/jars 固定目录 存放Spark2x executor运行依赖包 否
单击左侧列表中的可在数据库中根据上传的文件创建一个新表，也可手动创建一个新表。 Hue界面主要用于文件、表等数据的查看与分析，禁止通过Hue界面对操作对象进行删除等高危管理操作。如需操作，建议在确认对业务没有影响后通过各组件的相应操作方法进行处理，例如使用HDFS客户端对HDFS文件进行操作
集群退订后，资源和数据将会被删除并且无法找回，请务必确认完成数据备份后再提交退订。退订规则请参见退订规则说明。 当集群已对接了OBS（存算分离或者冷热分离场景），若需要删除组件或者MRS集群，需要在删除组件或者集群后，手工将OBS上相关的业务数据进行删除。 删除MRS按需集群 登录MRS管理控制台。 在左侧导航栏中选择“现有集群”。
表1 okerberos参数配置一览表 参数名 示例 说明 连接KDC最大时延（毫秒） 2500 应用连接到Kerberos的超时时间，单位为毫秒，请填写整数值。 最大尝试次数 3 应用连接到Kerberos的最大重试次数，请填写整数值。 操作Ldap最大时延（毫秒） 3000 K
表中插入多行数据 insert into fruit values('banana',10),('peach',6),('lemon',12),('apple',7); --将fruit表中的数据行加载到fruit_copy 表中，执行后表中有5条记录 insert into fruit_copy
HDFS和MapReduce的关系 HDFS是Hadoop分布式文件系统，具有高容错和高吞吐量的特性，可以部署在价格低廉的硬件上，存储应用程序的数据，适合有超大数据集的应用程序。 而MapReduce是一种编程模型，用于大数据集（大于1TB）的并行运算。在MapReduce程序中计算的数据可以来自多个数据源，如Local
/opt/client/Spark/spark/examples/jars/spark-examples_*.jar 查看yarn中运行的application信息。 可以看到任务的运行用户为test1，使用代理用户成功。 父主题： 使用Spark/Spark2x
HDFS文件操作的Java示例程序。 本工程主要给出了创建HDFS文件夹、写文件、追加文件内容、读文件和删除文件/文件夹等相关接口操作示例。相关业务场景介绍请参见开发HDFS应用。 hdfs-c-example HDFS C语言开发代码样例。 本示例提供了基于C语言的HDFS文件系统连接、文件操作如创建文件、读写文
Manager的操作运维场景，以及在组件客户端操作的场景。选择该值需同时填写“密码”和“确认密码”。 “机机”用户：用于MRS应用开发的场景。选择该值用户密码随机生成，无需填写。 在“用户组”，单击“选择添加的用户组”，选择对应用户组将用户添加进去。 如果用户组添加了角色，则用户可获得对应角色中的权限。 为新用户分配
离线数据加载：通过Spark视图读取Hive外表数据并写入Doris 应用场景 通过Spark视图读取Hive外表数据写入到Doris，并按照Unique指定字段自动去重。 方案架构 离线数据可以从数据湖加载，也可以直接加载本地文件。从数据湖加载可以使用工具CDM，在没有CDM工
有一个输出算子。 不符合转换规则的数据，将成为脏数据跳过。 从关系型数据库导入数据到HDFS/OBS，可以不用配置数据转换，数据将按“,”分隔保存到HDFS/OBS。 从HDFS/OBS导出数据到关系型数据库，可以不用配置数据转换，数据将按“,”分隔保存到关系型数据库。 算子简介
对应组件的管理权限，导致界面报错或部分功能不可用。 例如： 使用当前用户登录Flink WebUI后，部分内容不能正常显示，且没有权限创建应用、创建集群连接、创建数据连接等： 使用当前用户访问HDFS WebUI报错：Failed to retrieve data from /jmx
t，相关样例请参考使用KafkaStreams统计数据 springboot/kafka-examples 基于SpringBoot搭建的应用Demo，实现了生产数据的REST API以及消费数据的REST API。参考Kafka对接SpringBoot样例代码。 父主题： Kafka开发指南（安全模式）
AggregatedLogs 查看运行中的任务日志 在Spark2x原生页面，通过“Jobs > Stage > Task”找到对应的executor，单击后面的stdout或者stderr查看整个executor日志。 图3 Jobs 图4 Stage 图5 Task 参考信息 通过单击stdout
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
