检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
TDB/iotdb/conf”目录下: cp truststore.jks 客户端安装目录/IoTDB/iotdb/conf 如果当前集群已启用Kerberos认证,执行以下命令认证当前用户,当前用户需要具有创建IoTDB表的权限,可参考IoTDB用户权限管理。如果当前集群未启用
径。例如:“备份路径/备份任务名_数据源_任务创建时间/版本号_数据源_任务执行时间.tar.gz”。 单击“确定”保存。 在恢复任务列表已创建任务的“操作”列,单击“执行”,在弹出窗口上继续单击“确定”,开始执行恢复任务。 恢复成功后进度显示为绿色。 恢复成功后此恢复任务不支持再次执行。
打印出SQL语句的逻辑计划和物理计划。 void printSchema() 打印schema信息到控制台。 registerTempTable 将DataFrame注册为一张临时表,其周期和SQLContext绑定在一起。 DataFrame toDF(java.lang.String... colNames)
打印schema信息到控制台。 registerTempTable(tableName: String): Unit 将DataFrame注册为一张临时表,其周期和SQLContext绑定在一起。 toDF(colNames: String*): DataFrame 返回一个列重命名的DataFrame。
打印schema信息到控制台。 registerTempTable(tableName: String): Unit 将DataFrame注册为一张临时表,其周期和SQLContext绑定在一起。 toDF(colNames: String*): DataFrame 返回一个列重命名的DataFrame。
介 绍,Kryo序列化机制比Java序列化机制,性能高10倍左右。Spark之所以默认没有使用Kryo作为序列化类库,是因为Kryo要求要注册所有需要进行序列化的自定义类型,因此对于开发者来说,这种方式比较麻烦。 Spark Streaming性能优化建议 设置合理的批处理时间(batchDuration)。
说明:在B/S应用中,对于涉及服务器端数据改动(如增加、修改、删除)的操作必须进行跨站请求伪造的防范。跨站请求伪造是一种挟制终端用户在当前已登录的Web应用程序上执行非本意的操作的攻击方法。 安全加固:现有请求修改的接口有2个post,1个delete,其余均是get请求,非get请求的接口均已删除。
说明:在B/S应用中,对于涉及服务器端数据改动(如增加、修改、删除)的操作必须进行跨站请求伪造的防范。跨站请求伪造是一种挟制终端用户在当前已登录的Web应用程序上执行非本意的操作的攻击方法。 安全加固:现有请求修改的接口有2个post,1个delete,其余均是get请求,非get请求的接口均已删除。
径。例如:“备份路径/备份任务名_数据源_任务创建时间/版本号_数据源_任务执行时间.tar.gz”。 单击“确定”保存。 在恢复任务列表已创建任务的“操作”列,单击“执行”,开始执行恢复任务。 恢复成功后进度显示为绿色。 恢复成功后此恢复任务不支持再次执行。 如果恢复任务在第一
server内存泄露问题:HIVE-10970、HIVE-22275。 补丁兼容关系 MRS 2.1.0.11补丁包中包含MRS 2.1.0版本发布的所有补丁内容。 已修复漏洞披露 解决Spark远程代码执行漏洞,漏洞详细请参考CVE-2020-9480 安装补丁的影响 安装MRS 2.1.0.11补丁期间会重启MRS
demo-data/flink/mrs_flink_test.txt”。 (可选)上传数据分析应用程序。 使用管理台界面直接提交作业时,将已开发好的Flink应用程序jar文件也可以上传至OBS文件系统中,或者MRS集群内的HDFS文件系统中。 本示例中使用MRS集群内置的Flink
在的节点。 执行以下命令初始化环境变量。 cd /opt/Bigdata/client source bigdata_env 如果当前集群已开启Kerberos认证,执行以下命令进行认证。 如果当前集群未开启Kerberos认证,则无需执行本步骤。 kinit MRS集群业务用户
/opt/Bigdata/client -R 执行以下命令配置环境变量: source /opt/Bigdata/client/bigdata_env 如果当前集群已启用Kerberos认证,执行以下命令认证当前用户。如果当前集群未启用Kerberos认证,则无需执行此命令。 kinitMRS集群用户 例如
存加速等多项技术,提供高可用性和持久性,以及稳定的低时延性能。 如果您在专属分布式存储服务页面申请了存储池,可以选择“专属分布式存储”,在已申请的存储池中创建磁盘。 MRS集群其他配置 单击“立即购买”。 当集群开启Kerberos认证时,需要确认是否需要开启Kerberos认证
Administrator”和“KMS Administrator”权限。 关于更多磁盘加密详情请参考云硬盘加密。 开启系统盘加密时,需配置以下参数: 系统盘密钥ID:已选择的密钥名称对应的密钥ID信息。 系统盘密钥名称:选择用来加密系统盘的密钥名称,默认选择密钥名称为“evs/default”的默认主密钥,在下拉框中可以选择其他用户主密钥。
待操作集群的名称 > 服务 > HDFS > 实例”,在实例列表中找到该NameService的备NameNode实例,查看其“配置状态”是否为“已同步”。 是,执行6。 否,执行4。 勾选该备NameNode实例,单击“启动实例”,等待启动完成。 等待1个NameNode合并元数据的周期时间后,查看告警是否清除。
节点上的“/opt/Bigdata/client”,MRS 3.x之前版本为Master节点上的“/opt/client”。 如果当前集群已开启Kerberos认证,参考创建MRS集群用户页面,创建一个用于提交作业的用户。 如果当前集群未开启Kerberos认证,则无需执行本步骤。
命令认证、配置认证或代码认证,三种任选一种。 yarn-cluster 命令认证或者配置认证,两种任选一种。 spark-examples-security (已包含安全认证代码) yarn-client 代码认证。 yarn-cluster 不支持。 如上表所示,yarn-cluster模式中不支持
“目的端路径”:填写保存备份数据的OBS目录。 “最大备份数”:填写备份目录中可保留的备份文件集数量。 单击“确定”保存。 在备份任务列表中已创建任务的“操作”列,选择“更多 > 即时备份”,开始执行备份任务。 备份任务执行完成后,系统自动在备份目录中为每个备份任务创建子目录,目录
录,可安装方法可参考《MapReduce服务用户指南》的“客户端管理”章节。 确认服务端HDFS组件已经安装,并正常运行。 客户端运行环境已安装1.7或1.8版本的JDK。 获取并解压缩安装包“MRS_HDFS_Client.tar”。执行如下命令解压。 tar -xvf MRS_HDFS_Client