NoSQL基础概念及MongoDB |
MongoDB基础应用 |
MongoDB索引及复制集 |
数据库分片的概念及Mongodb sharding的实现 |
一、NoSQL基础概念
NoSQL(Not Only SQL),是一种技术流派,非关系型数据库;适合用在大数据领域,各种nosql有各自的查询语句,这也是nosql的缺点之一。
大数据(BigDate)也称海量数据是一个模糊的概念,像Google、百度收集大量数据,分析现在、预测未来;这些数据通过某些特定的特征和算法得出某些预测的结果,这些数据为大数据。
大数据的四种形式:
1、 并行数据库:关系型数据库水平切割,分区查询
2、NoSQL数据库管理系统:非关系模型,分布式,不支持ACID数据库设计范式成为NoSQL
优点:简单数据模型、元数据和数据分离、弱一致性、高吞吐量、高水平扩展能力和低端 硬件群集
缺点:数据模型没有经过验证、不支持ACID特性、功能简单、没有统一的查询语言
3、NewSQL数据库管理系统:代表产品Cluterix、GenieDB、ScaleBase、NimbusDB、Drizzleyun
4、云数据管理系统:
大数据的分析处理:
MapReduce
最终一致性细分:
因果一致性、读自己写一致性、会话一致性、单调读一致性、时间轴一致性
ACID: 强一致性、隔离性、采用悲观保守的方法、难以变化;
BASE:弱一致性、可用性优先、采用乐观的方法、适应变化、更简单、更快
数据一致性的实现技术:NRW、2PC、Paxos、Vector Clock
数据存储模型: www.nosql-databases.org
列式存储模型 、文档数据模型 、 键值数据模型 、图式数据模型
列式模型:
应用场景:在分布式文件系统之上提供支持随机读写的分布式数据存储
典型产品:Hadoop/HBase、Hypertable(Facebook研发)、Cassandra(Facebook)
数据模型:以“列”为中心进行存储,将同一列数据存储在一起
优点:快速查询、高可扩展性、易于实现分布式扩展
文档模型:
应用场景:非强事务需求的web应用
典型产品:MongoDB、ElasticSearch、CouchDB、CouchBase Server
数据模型:键值模型,存储为文档
优点:数据模型无须事先定义
键值模型:
应用场景:内容缓存,用于大量并行数据访问高负载场景
典型产品:DynamoDB(亚马逊研发)、Riak、Redis、MemcacheDB(新浪研发)
数据模型:基于哈希表实现的key-value
优点:查询迅速
图式模型:
应用场景:社交网络、推荐系统、关系图谱
典型产品:Neo4j、Infinite Graph、TiTan
数据模型:图式结构
优点:适应于图式计算场景
二、MongoDB (官方下载站点 www.mongodb.org/downloads/)
1、 MongoDB是Nosql的一种,文档数据存储模型,jons数据模型,功能次于MySQL,性能强于MySQL。
CentOS RPM包下载地址:
安装mongodb:三个包
(mongo-org-server.rpm、mongol-org-shell.prm客户端、mongol-org-tools.rpm工具)
#rpm -ql mongodb 查看mongodb配置文件为/etc/mongod.conf
#mkdir -pv /mongodb/data 自定义数据库存放路径(默认/var/lib/mongo)
#chown -R mongod:mongod /mongodb/ (系统默认创建mongod用户来运行mongod,修改目录权限)
#vi /etc/mongod.conf 修改配置文件中定义的数据库路径
#配置文件打开http接口: httpinterface=true (添加rest=true)
#service mongod start
#ls /mongodb/data (查看数据库初始化话的数据,非常大)
#du -sh /mongodb/data/ 显示3.1G
#ss -tnl #查看监听的27017和28017端口
#mongo --host 172.16.100.7 #连入数据库
>show dbs #无需创建数据库,创建collections(容器,相当于表)后自动延时创建数据库!
>db.stats() #查看数据库信息
>db.serverstats() #查看服务器状态
2、 常用命令:
help
db.help()
db.stats(): 数据库状态
db.serverStatus(): mongodb数据库服务器状态
show dbs 查看已有的数据库
show collections
db.getCollectionNames() 数据库中所有collection集合
db.collection.stats()
DDL(数据定义语言), DML(数据操作语言)
JSON: JavaScript Object Notation (java脚本对象标识)名称/值对象的集合、值的有序列表
3、find()的高级用法:
比较操作:
$gt, 大于 #语法格式 {filed: {$gt: VALUE}}
$gte,大于等于
$lt, 小于
$lte,小于等于
$ne, 不等于
$in,给定的值列表中 #语法格式{filed: {$in: [<value>]}}
$nin,不在指定的列表中
$in,语法格式{filed: {$in: [<value>]}}
$nin
组合条件:逻辑运算
$or: 或运算,语法格式{$or: [{<expression1>},...]}
$and: 与运算
$not: 非运算
$nor: 反运算,返回不符指定条件的所有文档
元素查询:根据文档中是否存在指定的字段进行的查询
$exists: 语法格式{$filed:{$exists:<boolean>}}
$mod:
$type: 返回指定字段的值的类型为指定类型的文档,语法格式{field:{$type: <BSON type>}}
1 Double, 2 String, 3 Object, Array, Binary data, Undefined, Boolean, Date, Null, Regular Expression, JavaScript, Timestamp
4、数据库的操作
更新操作:
db.mycoll.update()
$set: 修改字段的值为新指定的值;语法格式({filed: value}, {$set: {filed: new_value}})
$unset: 删除指定字段;语法格式({field: value}, {$unset: {field1, field2,...}})
$rename: 更改字段名,语法格式({$rename: {oldname: newname, oldname: newname}})
$inc
删除操作:
db.mycoll.remove(<query>,<justOne>)
删除collection:
db.mycoll.drop()
删除database:
db.dropDatabase()
php+mongodb:
php的mongodb扩展