NoSQL的学习与感悟

一.为什么用nosql

1.单机的MySQL美好时代

在90年代,一个网站的访问量一般都不大,用单个数据库就可以轻松应对,而且那个时候使用更多的是静态页面,动态交互式的网站并不多。 在这里插入图片描述什么的数据存储就会遇到:

  1. 数据量的总大小一个机器放不下
  2. 数据的索引(B+Tree)一个机器的内存放不下
  3. 访问量(读写混合)一个实例不能承受时

3个条件不满足的话就会进化

2.Mecached(缓存)+MySQL+垂直拆分

在这里插入图片描述访问量的提升后,使用MySQL架构的网站都会出现性能上的问题。web开发不仅仅只关注功能上了,同时也在追求性能。程序员开始大量的使用缓存技术来减轻数据库的压力,优化数据库的结构和索引。一开始流行的是通过文件缓存的方式,但是后面访问量还是继续增大(中国互联网的普及)的时候,多台web机器还是不能共享文件缓存,大量的小文件缓存也给计算机带来了较高的IO压力。这个时候Memcached技术产生了。 Memcached作为一个独立的分布式缓存服务器,为多个web服务器提供了一个共享的高性能缓存服务,在该服务器上有发展了根据hash算法来进行多台Memcached缓存服务的扩展,然后出现了一致性hash来解决增加或者减少服务器导致重新hash带来的大量缓存失效的弊端。

3.MySQL主从读写分离

由于数据库的写入压力增大,Memcached只能缓解数据库的读取压力。但是读写集中在同一个数据库上会数据库不堪重负,所以大部分的网站使用主从复制技术达到读写分离,以提高读写性能和读库的扩展性。MySQL的master-slave模式已经成为这个时候的网站标配。

在这里插入图片描述

4.分表分库+水平拆分+MySQL集群

在Memcached的高速缓存,MySQL的主从复制,读写分离的基础之上,这个时候的MySQL主库的写压力开始瓶颈,数据量的持续猛增,由于MyISAM使用表锁,在高并发下回出现严重的所问题,大量的高并发MySQL应用开始使用InNoDB引擎代替MyISAM。 同时,开始流行使用分表分库来缓解写压力和数据增长的扩展问题。这个时候,分表分库成为一个热门的技术。而这个时候MySQL推出还不太稳定的表分区, 在这里插入图片描述

5.MySQL的扩展瓶颈

MySQL数据库也经常存储一些大文本字段,导致数据库表非常的大,在做数据库恢复的时候就导致非常的慢,不容易快速恢复数据库。比如1000万4KB大小的文本就接近40GB的大小,如果能把这些数据从MySQL省去,MySQL将变得非常的小。关系数据库很强大,但是它并不能很好的应付所有的应用场景。MySQL的扩展性差(需要复杂的技术来实现),大数据下IO压力大,表结构更改困难,正是当前使用MySQL的开发人员面临的问题。

6.今天的数据库架构(分布式)

在这里插入图片描述

7.使用NoSQL的原因

今天我们通过百度、谷歌、脸书很容易访问与抓取数据。用户的个人信息、社交网络、地理位置。用户所产生的很多日志数据成倍的增加。如果使用SQL数据库进行对这些数据进行挖掘是不合适的,NoSQL数据库的发展可以很好解决这么大的数据量。

二.NoSQL的定义

NoSQL(Not Only SQL),不仅仅是SQL:泛指非关系型数据库。 随着互联网web2.0网站的兴起,传统的关系数据库在应付web2.0网站,特别是超大规模和高并发的SNS类型的web2.0纯动态网站已经显得力不从心,暴露了很多难以克服的问题,而非关系型的数据库则由于其本身的特点得到了非常迅速的发展。NoSQL数据库的产生就是为了解决大规模数据集合多重数据种类带来的挑战,尤其是大数据应用难题,包括超大规模数据的存储。

(例如谷歌或Facebook每天为他们的用户收集万亿比特的数据)。这些类型的数据存储不需要固定的模式,无需多余操作就可以横向扩展。

三.NoSQL的特点

1.易扩展性:

NoSQL数据库种类繁多,但是一个共同的特点都是去掉关系数据库的关系型特性。数据之间无关系,这样就非常容易扩展。也无形之间,在架构的层面上带来了可扩展的能力。

2.大数据量高性能

NoSQL数据库都具有非常高的读写性能,尤其在大数据量下,同样表现优秀。这得益于它的无关系性,数据库的结构简单。 一般MySQL使用Query Cache,每次表的更新Cache就失效,是一种大粒度的Cache,在针对web2.0的交互频繁的应用,Cache性能不高。而NoSQL的Cache是记录级的,是一种细粒度的Cache,所以NoSQL在这个层面上来说就要性能高很多了。

3.多样灵活的数据模型

NoSQL无需事先为要存储的数据建立字段,随时可以存储自定义的数据格式。而在关系数据库里,增删字段是一件非常麻烦的事情。如果是非常大数据量的表,增加字段简直就是一个噩梦。

四.有哪些产品

  • Redis
  • Memcache
  • MongDB

V.NoSQL的四大分类

1.KV键值对:

  • 新浪:BerkeleyDB+Redis
  • 美团:Redis+tair
  • 阿里、百度:Memcached+Redis

2.文档型数据库(bson格式):

  • CouchDB
  • MongoDB:是一个基于分布式文件存储的数据库。由 C++ 语言编写。旨在为 WEB 应用提供可扩展的高性能数据存储解决方案。 MongoDB 是一个介于关系数据库和非关系数据库之间的产品,是非关系数据库当中功能最丰富,最像关系数据库的。

3.图关系数据库(Neo4J,InfoGrid)

4.列存储数据库(Cassandra,HBase:分布式文件系统)

五、四者对比

在这里插入图片描述

end
数据库
数据结构与算法
  • 作者:管理员(联系作者)
  • 发表时间:2020-11-15 23:18
  • 版权声明:自由转载-非商用-非衍生-保持署名(创意共享3.0许可证)
  • 公众号转载:请在文末添加作者公众号二维码
  • 评论