首页 > 社交 > 科普中国

「大数据」

常驻编辑 科普中国 2022-07-29 数据   分布式   语句   认知   组件   数据仓库   入门   模型   结构   数据库   工具   用户   系统

前言

本文主要介绍Hive 的基础概念,以及Handoop的大体架构,组件依赖,对于大数据有个总体的认识esa拜客生活常识网

Hive 基础概念

官网:https://hive.apache.org/esa拜客生活常识网

The Apache Hive data warehouse software facilitates reading, writing, and managing large datasets residing in distributed storage using SQL. Structure can be projected onto data already in storage. A command line tool and JDBC driver are provided to connect users to Hive.esa拜客生活常识网

Apache Hive 数据仓库软件支持使用SQL读取、写入和管理分布存储中的大型数据集。结构可以映射到存储中的数据。提供了一个命令行工具和JDBC驱动程序来将用户连接到Hive。esa拜客生活常识网

Hive的 特点:

  • Hive是一个构建于Hadoop顶层的数据仓库工具,可以查询和管理PB级别的分布式数据。
  • 支持大规模数据存储、分析,具有良好的可扩展性
  • 某种程度上可以看作是用户编程接口,本身不存储和处理数据。
  • 依赖分布式文件系统HDFS存储数据
  • 依赖分布式并行计算模型MapReduce处理数据。
  • 定义了简单的类似SQL 的查询语言——HiveQL
  • 用户可以通过编写的HiveQL语句运行MapReduce任务。
  • 可以很容易把原来构建在关系数据库上的数据仓库应用程序移植到Hadoop平台上。
  • 是一个可以提供有效、合理、直观组织和使用数据的分析工具。

Hive应用场景:

  1. 数据挖掘:用户行为分析;兴趣分区;区域展示;
  2. 非实时分析:日志分析;文本分析。
  3. 数据汇总:每天/每周用户点击数,流量统计。
  4. 数据仓库:数据抽取,加载,转换(ETL)。

思考: Hive 其实不是一个数据库或者数据存储系统,而且是一个数据工具,主要是将SQL语句转化为MapReduce任务执行。esa拜客生活常识网

Hive 的结构

esa拜客生活常识网

该组件图包含不同的单元。下表描述每个单元:

相关阅读:

  • 光环大数据培训怎么样(大数据对培训与开发)
  • 手机恢复出厂设置会怎么样(手机如何永久删除数据)
  • 数据分析的方法有哪些(数据分析通常包括哪两种方法)
  • 哪些是大数据(大数据具有哪些基本特征)
  • 分析软件有哪些(数据分析软件排名)
  • 哪里找数据(综艺节目数据在哪找)
  • 合并单元格在哪里(数据合并表格在哪)
  • 上市公司为什么并购(上市公司并购重组数据)
  • 哪个图数据芯片多(AI芯片)
  • 数据存在哪里(数据库的数据是存在硬盘里吗)
    • 网站地图 |
    • 声明:登载此文出于传递更多信息之目的,并不意味着赞同其观点或证实其描述。文章内容仅供参考,不做权威认证,如若验证其真实性,请咨询相关权威专业人士。