已找到以下 10000 条记录

    • Linux安装Hive并测试

      3、Node1添加环境变量 在hive-env.sh中添加hadoop的目录 [root@node1 conf]# vi hive-env.sh 在首行添加 HADOOP_HOME=/opt/bigdata/hadoop-3.0.0 123 4、Node1创建hive-site

      开发者  >  博客
      作者： 指剑
      发表时间： 2022-09-02 16:56:59
      103
      0

    • 大数据生态圈常用组件（一）：数据库、查询引擎、ETL工具、调度工具等

      存储系统 问世灵感：Google论文Bigtable基于zookerper，hadoop，适合于非结构化数据存储的数据库适用超大数据存储，准实时查询； bitmap存储软件开源 低硬件成本（hadoop）ES分布式全文搜索引擎ES自动可以将海量数据分散到多台服务器上去存储和检索，

      开发者  >  博客
      作者： 不吃西红柿
      发表时间： 2021-07-14 15:57:03
      3307
      0

    • 使用Apache IoTDB进行IoT相关开发的架构设计与功能实现(1)

      步到HDFS，从而在Hadoop或Spark数据处理平台上实现异常检测、机器学习等数据处理任务。对于写入HDFS或本地TsFile的数据，用户可以使用TsFile-Hadoop-Connector或TsFile-Spark-Connector来允许Hadoop或Spark处理数据

      开发者  >  博客
      作者： 云言·云议
      发表时间： 2022-12-14 16:48:29
      274
      0

    • 什么是 Apache Spark，为什么它用于数据处理？

      管理器（如 Hadoop YARN、Apache Mesos 或 Kubernetes）集成，以提供资源管理和任务调度服务。 生态系统：Spark 拥有一个丰富的生态系统，提供了广泛的工具和库，以支持数据处理、数据分析和机器学习。Spark 的生态系统与 Hadoop 紧密集成，允许用户无缝地在

      开发者  >  博客
      作者： wljslmz
      发表时间： 2024-08-13 23:40:32
      2
      0

    • Linux系列：shell编程之运算符

      str2 操作如下： 结果如下： [hadoop@image shell]$ . three.sh 666 888 变量b:888大 5）字符串运算符 常用字符运算符如下： 操作如下： 结果如下： [hadoop@image shell]$ . str.sh

      开发者  >  博客
      作者： 数据分析与统计学之美
      发表时间： 2021-09-27 12:59:20
      1239
      0

    • 使用Flume消费kafka topic数据并存储到HBase

      "/opt/Bigdata/MRS_x.x.x/1_x_Flume/etc/" 。        修改参数“keyTab”定义的用户认证文件完整路径即步骤3中保存用户认证文件的目录。    5. 修改配置文件flume-env.sh，文件所在目录 "/opt/Bigdata/MRS_x.x.x/1_x_Flume/etc/"

      开发者  >  其他
      作者： 小四三
      2510
      1

    • RedHat 6.1中安装JDK

      以前一直使用Ubuntu做Hadoop的学习，最近需要部署生产环境，服务器改为RedHat，也记录一下在RedHat 6.1中安装JDK，与之前写过在Ubuntu 14.04 安装 JDK 8做一下比较。 下载JDK 可以通过访问Or

      开发者  >  博客
      作者： 看山
      发表时间： 2021-09-28 16:22:29
      940
      0

    • OBS大数据解决方案开篇

          随着企业数据资产的增加，如何能可靠安全的存储这些数据，以及如何能高效处理这些数据成为了大数据技术的起点，以hadoop为代表的开源技术大肆兴起，随后大数据技术栈如雨后春笋般的涌现，hive，spark，impala，presto，flink。。。几乎每隔一两年就会有新的大数据处理框架出现，同时也出现了HDP

      开发者  >  博客
      作者： 万广平
      发表时间： 2020-08-08 16:11:47
      10373
      0

    • 从“浮云”到“冰山”：华为云安全的绝世“五功”

      全合规认证，是衡量企业在网络安全投入以及安全能力的重要指标之一。为给用户提供一个从云平台到云服务都安全可信的环境，华为云将最严格的国际安全标准作为目标，不断对齐并优化自身的安全能力，努力搭建出世界一流的安全合规认证体系。仅2019年，华为云就获得和重新审核通过了这些合规认证： •

      开发者  >  博客
      作者： 华为云社区精选
      发表时间： 2020-12-10 18:02:25
      9685
      0

    • 个人数据保护机制 - 云证书管理服务 CCM

      在申请SSL证书时填写的联系人姓名 是 是，证书审核人工认证阶段必须 邮箱 在申请SSL证书或私有证书时填写的邮箱 申请SSL证书时填写的邮箱：是 申请私有证书时填写的邮箱：否 申请SSL证书时填写的邮箱：是，证书审核人工认证阶段必须 申请私有证书时填写的邮箱：否 手机号码 在申请SSL证书时填写的联系人手机号

      帮助中心 > 云证书管理服务 CCM > 产品介绍

    • 调用说明 - 数据治理中心 DataArts Studio

      entational State Transfer）风格API，支持您通过HTTPS请求调用。 调用方法请参见如何调用API。 构造请求 认证鉴权 返回结果 父主题： 使用前必读

      帮助中心 > 数据治理中心 DataArts Studio > API参考 > 使用前必读

    • 统一身份认证服务的优势-使用企业已有账号登录华为云

      华为云计算 云知识 统一身份认证服务的优势-使用企业已有账号登录华为云 统一身份认证服务的优势-使用企业已有账号登录华为云 时间：2021-07-01 15:34:48 当您希望本企业员工可以使用企业内部的认证系统登录华为云，而不需要在华为云中重新创建对应的IAM用户，您可以使用

      百科

    • 网信办云计算服务安全评估

      网信办云计算服务安全评估 针对向党政机关、关键信息基础设施运营者提供服务的云平台开展的安全评估 有关网信办云计算服务安全评估的常见问题 有关网信办云计算服务安全评估的常见问题 网信办云计算服务安全评估是什么？ 为提高党政机关、关键信息基础设施运营者采购使用云计算服务的安全可控水平

      其他

    • gRPC技术优势在哪里？有什么缺点和应对策略？

      亦然。 【认证】gRPC支持使用TLS和基于令牌的认证。与Google服务的连接必须使用TLS。 gRPC设计的初衷是可以与各种认证机制一起工作，从而可以很容易地通过gRPC与其他系统对话。 gRPC还提供了一个简单的认证API，让您在创建通道或调用时提供所有必要的认证信息作为凭

      开发者  >  博客
      作者： Jet Ding
      发表时间： 2020-09-30 15:31:38
      13210
      0

    • 支持的数据源 - 数据治理中心 DataArts Studio

      实时集成作业支持的数据源如表1所示。 表1 实时集成作业支持的数据源 数据源分类 源端数据源 对应的目的端数据源 相关文档 说明 关系型数据 MySQL Hadoop：MRS Hudi MySQL同步到MRS Hudi作业配置 MySQL数据库建议使用版本：5.6、5.7、8.x版本。 Hudi建议使用版本：0

      帮助中心 > 数据治理中心 DataArts Studio > 用户指南 > 数据集成（实时作业）

    • HTTPS配置 - 内容分发网络 CDN

      HTTPS配置 证书配置概述 SCM委托授权 配置HTTPS证书 HTTPS证书要求 HTTPS证书格式转换 配置TLS版本 强制跳转 配置HSTS 配置HTTP/2 配置OCSP Stapling 配置QUIC协议 配置客户端证书 HTTPS常见问题 父主题： 自定义域名配置

      帮助中心 > 内容分发网络 CDN > 用户指南 > 自定义域名配置

    • 什么是国密改造？国密SSL证书起什么作用？

      沃通国密SSL证书采用国家密码管理局公布的SM2算法体系，支持国产密码算法及国密SSL安全协议，实现国密HTTPS加密通信以及服务器身份认证。工作机制和RSA算法的SSL证书一样，但遵循国家的标准规范和监管体系，依赖支持国密算法的软件应用环境。 沃通CA提供的成熟实践方案，面向

      开发者  >  博客
      作者： 沃通WoTrus
      发表时间： 2023-02-15 08:13:41
      105
      0

    • 为什么我要选择 Spark on K8s？

      务方案、商业策略，并进行精准推送。目前大部分数据分析都在 Hadoop 生态中进行，Hadoop 也凭借其完善的生态，备受用户欢迎，成为主流的开源大数据平台，也成为了大数据的代名词。然而，从 2006 第一个 Hadoop 版本发布算起的话，大数据的发展也经历了至少 13 个年头

      开发者  >  博客
      作者： 鲲鹏小玩家
      发表时间： 2020-02-12 10:09:01
      10349
      0

    • flink写入数据到hudi的四种方式

      NOT ENFORCED ) with ( 'connector' = 'jdbc', 'url' = 'jdbc:mysql://hadoop:3306/test?serverTimezone=GMT%2B8', 'username' = 'root', 'password'

      开发者  >  博客
      作者： 从大数据到人工智能
      发表时间： 2022-03-27 16:30:39
      1740
      0

    • Storm之Zookeeper安装部署

      修改上网方式为桥接模式c) 查看主机是否获取了IP地址d) 通过dhclient命令获取IP地址3. 创建hadoop账户并配置密码4. 切换到hadoop账户下cd直接回车，切换到hadoop的主目录下5. 安装Java命令安装比较简单：yum install java-1.8.0-op

      开发者  >  博客
      作者： Smy1121
      发表时间： 2019-06-21 16:31:34
      4202
      0
    总条数： 10000
    点击加载更多