MongoDB-备份恢复「建议收藏」

MongoDB-备份恢复「建议收藏」
备份工具 (1)** mongoexport/mongoimport (2)***** mongodump/mongorestore 备份工具区别在那里? …

	MongoDB-备份恢复[数据库教程]

备份工具

(1)**   mongoexport/mongoimport
(2)***** mongodump/mongorestore

 

备份工具区别在那里?

应用场景总结:
mongoexport/mongoimport:json csv
1.异构平台迁移 mysql  <----> mongodb
2.同平台,跨大版本:mongodb 2 ----> mongodb 3
mongodump/mongorestore
日常备份恢复时使用.

 

导出工具mongoexport

mongoexport具体用法如下所示:
$ mongoexport --help
差数说明:
-h:指明数据库宿主机的IP
-u:指明数据库的用户名
-p:指明数据库的密码
-d:指明数据库的名字
-c:指明collection的名字
-f:指明要到导出那些列
-o:指明要导出的文件名
-q:指明导出数据的过滤条件
--authenticationDatabase admin

1.单表备份至json格式
mongoexport -uroot -proot123 --port 27017 --authenticationDatabase admin -d oldboy -c log -o /mongodb/log.json

注:备份文件的名字可以自定义,默认导出了JSON格式的数据。

2. 单表备份至csv格式
如果我们需要导出CSV格式的数据,则需要使用----type=csv参数:
 mongoexport -uroot -proot123 --port 27017 --authenticationDatabase admin -d test -c log --type=csv
  -f uid,name,age,date  -o /mongodb/log.csv

导入工具mongoimport

$ mongoimport --help
参数说明:
-h:指明数据库宿主机的IP
-u:指明数据库的用户名
-p:指明数据库的密码
-d:指明数据库的名字
-c:指明collection的名字
-f:指明要导入那些列
-j, --numInsertionWorkers=<number>  number of insert operations to run concurrently                                                  (defaults to 1)
//并行
数据恢复:
1.恢复json格式表数据到log1
mongoimport -uroot -proot123 --port 27017 --authenticationDatabase admin -d oldboy -c log1 /mongodb/log.json
2.恢复csv格式的文件到log2
上面演示的是导入JSON格式的文件中的内容,如果要导入CSV格式文件中的内容,则需要通过--type参数指定导入格式,具体如下所示:
错误的恢复

注意:
(1)csv格式的文件头行,有列名字
mongoimport   -uroot -proot123 --port 27017 --authenticationDatabase admin   -d oldboy -c log2 --type=csv --headerline --file  /mongodb/log.csv

(2)csv格式的文件头行,没有列名字
mongoimport   -uroot -proot123 --port 27017 --authenticationDatabase admin   -d oldboy -c log3 --type=csv -f id,name,age,date --file  /mongodb/log.csv
--headerline:指明第一行是列名,不需要导入。

技术图片

 

 技术图片

 导构平台迁移案例

mysql   -----> mongodb  
world数据库下city表进行导出,导入到mongodb

(1)mysql开启安全路径
vim /etc/my.cnf   --->添加以下配置
secure-file-priv=/tmp

--重启数据库生效
/etc/init.d/mysqld restart

(2)导出mysql的city表数据
source /root/world.sql

select * from world.city into outfile ‘/tmp/city1.csv‘ fields terminated by ‘,‘;

(3)处理备份文件
desc world.city
  ID          | int(11)  | NO   | PRI | NULL    | auto_increment |
| Name        | char(35) | NO   |     |         |                |
| CountryCode | char(3)  | NO   | MUL |         |                |
| District    | char(20) | NO   |     |         |                |
| Population

vim /tmp/city.csv   ----> 添加第一行列名信息

ID,Name,CountryCode,District,Population

(4)在mongodb中导入备份
mongoimport -uroot -proot123 --port 27017 --authenticationDatabase admin -d world  -c city --type=csv -f ID,Name,CountryCode,District,Population --file  /tmp/city1.csv

use world
db.city.find({CountryCode:"CHN"});

-------------
world共100张表,全部迁移到mongodb

select table_name ,group_concat(column_name) from columns where table_schema=‘world‘ group by table_name;

select * from world.city into outfile ‘/tmp/world_city.csv‘ fields terminated by ‘,‘;

select concat("select * from ",table_schema,".",table_name ," into outfile ‘/tmp/",table_schema,"_",table_name,".csv‘ fields terminated by ‘,‘;")
from information_schema.tables where table_schema =‘world‘;

导入:
提示,使用infomation_schema.columns + information_schema.tables

mysql导出csv:
select * from test_info   
into outfile ‘/tmp/test.csv‘   
fields terminated by ‘,‘    ------字段间以,号分隔
optionally enclosed by ‘"‘   ------字段用"号括起
escaped by ‘"‘           ------字段中使用的转义符为"
lines terminated by ‘
‘;  ------行以
结束

mysql导入csv:
load data infile ‘/tmp/test.csv‘   
into table test_info    
fields terminated by ‘,‘  
optionally enclosed by ‘"‘ 
escaped by ‘"‘   
lines terminated by ‘
‘; 
 
mongodump和mongorestore

mongodump能够在Mongodb运行时进行备份,它的工作原理是对运行的Mongodb做查询,然后将 所有查询到文档写入磁盘。但是存在的问题时使用mongodump产生的备份不一定是数据库的实时 快照,如果我们在备份时对数据进行了写入操作,则备份出来的文件可能不完全和Mongodb实时 数据相等。另外在备份时可能会对其它客户端性能产生不利的影响。

 

mongodump用法如下:

$ mongodump --help
参数说明:
-h:指明数据库宿主机的IP
-u:指明数据库的用户名
-p:指明数据库的密码
-d:指明数据库的名字
-c:指明collection的名字
-o:指明到要导出的文件名
-q:指明导出数据的过滤条件
-j,--numParallelCollections=  number of collections to dump in parallel (4 by default)
--oplog  备份的同时备份oplog
mongodump和mongorestore基本使用
全库备份:

mkdir /mongodb/backup
mongodump -uroot -proot123 --port 27017 --authenticationDatabase admin -o /mongodb/backup

技术图片

 

 备份world库:

$ mongodump -uroot -proot123 --port 27017 authenticationDatabase admin -d  world -o /mongodb/backup/
备份oldboy库下的log集合:

$ mongodump   -uroot -proot123 --port 27017 --authenticationDatabase admin -d oldboy -c log -o /mongodb/backup/

压缩备份:

$ mongodump   -uroot -proot123 --port 27017 --authenticationDatabase admin -d oldguo -o /mongodb/backup/ --gzip
 mongodump   -uroot -proot123 --port 27017 --authenticationDatabase admin -o /mongodb/backup/ --gzip
$ mongodump   -uroot -proot123 --port 27017 --authenticationDatabase admin -d app -c vast -o /mongodb/backup/ --gzip

恢复world库:

$ mongorestore   -uroot -proot123 --port 27017 --authenticationDatabase admin -d world1  /mongodb/backup/world
恢复oldboy库下的t1集合:

[mongod@db03 oldboy]$ mongorestore   -uroot -proot123 --port 27017 --authenticationDatabase admin -d world -c t1  --gzip  /mongodb/backup.bak/oldboy/log1.bson.gz 
drop表示恢复的时候把之前的集合drop掉(危险)
$ mongorestore  -uroot -proot123 --port 27017 --authenticationDatabase admin -d oldboy --drop  /mongodb/backup/oldboy

 
mongodump和mongorestore高级企业应用(–oplog)

注意:这是replica set或者master/slave模式专用
--oplog
 use oplog for taking a point-in-time snapshot

oplog介绍:

在replica set中oplog是一个定容集合(capped collection),它的默认大小是磁盘空间的5%(可以通过--oplogSizeMB参数修改).

位于local库的db.oplog.rs,有兴趣可以看看里面到底有些什么内容。
其中记录的是整个mongod实例一段时间内数据库的所有变更(插入/更新/删除)操作。
当空间用完时新记录自动覆盖最老的记录。
其覆盖范围被称作oplog时间窗口。需要注意的是,因为oplog是一个定容集合,
所以时间窗口能覆盖的范围会因为你单位时间内的更新次数不同而变化。
想要查看当前的oplog时间窗口预计值,可以使用以下命令:

 mongod -f /mongodb/28017/conf/mongod.conf 
 mongod -f /mongodb/28018/conf/mongod.conf 
 mongod -f /mongodb/28019/conf/mongod.conf 
 mongod -f /mongodb/28020/conf/mongod.conf 
 
 
 use local 
 db.oplog.rs.find().pretty()
"ts" : Timestamp(1553597844, 1),
"op" : "n"
"o"  :

"i": insert
"u": update
"d": delete
"c": db cmd

test:PRIMARY> rs.printReplicationInfo()
configured oplog size:   1561.5615234375MB <--集合大小
log length start to end: 423849secs (117.74hrs) <--预计窗口覆盖时间
oplog first event time:  Wed Sep 09 2015 17:39:50 GMT+0800 (CST)
oplog last event time:   Mon Sep 14 2015 15:23:59 GMT+0800 (CST)
now:                     Mon Sep 14 2015 16:37:30 GMT+0800 (CST)

oplog企业应用:

(1)实现热备,在备份时使用 --oplog选项
注:为了演示效果我们在备份过程,模拟数据插入
(2)准备测试数据
[mongod@db01 conf]$ mongo --port 28018
use oldboy
for(var i = 1 ;i < 100; i++) {
    db.foo.insert({a:i});
}

db.oplog.rs.find({"op":"i"}).pretty()

oplog 配合mongodump实现热备
mongodump --port 28018 --oplog -o /mongodb/backup
作用介绍: --oplog 会记录备份过程中的数据变化。 会以oplog.bson保存下来
恢复
mongorestore --port 28018 --oplogReplay /mongodb/backup

(1)实现热备,在备份时使用 --oplog选项
注:为了演示效果我们在备份过程,模拟数据插入
(2)准备测试数据
[mongod@db01 conf]$ mongo --port 28018
use oldboy
for(var i = 1 ;i < 100; i++) {
    db.foo.insert({a:i});
}

db.oplog.rs.find({"op":"i"}).pretty()

oplog 配合mongodump实现热备
mongodump --port 28018 --oplog -o /mongodb/backup
作用介绍: --oplog 会记录备份过程中的数据变化。 会以oplog.bson保存下来
恢复
mongorestore --port 28018 --oplogReplay /mongodb/backup

oplog高级应用:
背景:每天0点全备,oplog恢复窗口为48小时
某天,上午10点world.city 业务表被误删除。
恢复思路:
    0.停应用
    2.找测试库
    3.恢复昨天晚上全备
    4.截取全备之后到world.city误删除时间点oplog,并恢复到测试库
    5.将误删除表导出,恢复到生产库
    
恢复步骤:
模拟故障环境:

1.全备数据库
模拟原始数据

mongo –port 28017
use wo
for(var i = 1 ;i < 20; i++) {
db.ci.insert({a: i});
}


全备:
rm -rf /mongodb/backup/*
mongodump –port 28018 –oplog -o /mongodb/backup


–oplog功能:在全备份同时,将备份过程产生的日志进行备份
文件必须存在/mongodb/backup下,自动命名为oplog.bson


再次模拟数据
db.cil.insert({id:1})
db.cil.insert({id:2})


2.上午10点:删除wo库下的ci表
10:00时刻,误删除
db.ci.drop()
show tables;


3.备份现有的oplog.rs表
mongodump –port 28018 -d local -c oplog.rs -o /mongodb/backup


4.截取oplog并恢复到drop之前的伪装
更合理的方法:登录到原数据库
[mongod@db03 local]$ mongo –port 28018
my_repl:PRIMARY> use local
db.oplog.rs.find({op:”c”}).pretty();


{
“ts” : Timestamp(1553659908, 1),
“t” : NumberLong(2),
“h” : NumberLong(“-7439981700218302504”),
“v” : 2,
“op” : “c”,
“ns” : “wo.$cmd”,
“ui” : UUID(“db70fa45-edde-4945-ade3-747224745725”),
“wall” : ISODate(“2019-03-27T04:11:48.890Z”),
“o” : {
“drop” : “ci”
}
}
获取到oplog误删除时间位置:
“ts” : Timestamp(1553659908, 1)


5、恢复备份+应用oplog
[mongod@db03 backup]$ cd /mongodb/backup/local/
[mongod@db03 local]$ ls
oplog.rs.bson oplog.rs.metadata.json
[mongod@db03 local]$ cp oplog.rs.bson ../oplog.bson
rm -rf /mongodb/backup/local/

mongorestore –port 38021 –oplogReplay –oplogLimit “1553659908:1” –drop /mongodb/backup/

 

 

分片集群的备份思路:

1.你需要备份什么?
config server
shard 节点

单独进行备份
2.备份有什么困难和问题
(1) chunk迁移的问题
人为控制在备份的时候,避开迁移的时间窗口
(2) shard节点之间的数据不在同一时间点
选业务量较少的时候

Ops Manger

 

MongoDB-备份恢复

原文地址:https://www.cnblogs.com/fengyuanfei/p/14497877.html

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。
转载请注明出处: https://daima100.com/6477.html

(0)
上一篇 2023-04-09
下一篇 2023-04-09

相关推荐

  • 乐观锁以及乐观锁的实现「建议收藏」

    乐观锁以及乐观锁的实现「建议收藏」乐观锁介绍: 乐观锁( Optimistic Locking ) 相对悲观锁而言,乐观锁假设认为数据一般情况下不会造成冲突,所以在数据进行提交更新的时候,才会正式对数据的冲突与否进行检测,如果发现冲…

    2023-03-09
    147
  • Python数字大小比较操作符

    Python数字大小比较操作符在Python中,我们可以使用以下操作符对数字进行比较:

    2024-03-22
    91
  • 20200616学习笔记

    20200616学习笔记count(*) 的实现方式 在不同的 MySQL 引擎中,count(*) 有不同的实现方式 MyISAM 引擎把一个表的总行数存在了磁盘上,因此执行 count(*) 的时候会直接返回这个数,效…

    2023-03-12
    188
  • Python数据抓取软件

    Python数据抓取软件Python数据抓取软件是一种可以自动抓取互联网上数据的工具软件,它可以通过一定规则获取指定网站的相关数据,并保存到本地或者服务器中,为用户提供相关的数据分析和数据挖掘。br
    Python数据抓取软件可以自动化处理数据,并从数据中提取重要信息,大大提高了数据分析的效率。同时,Python数据抓取也可以在一定程度上避免了人工操作的失误,确保数据采集的准确性。

    2024-04-14
    70
  • 最近两周出去面试遇到的面试题(前端初级、长更)[通俗易懂]

    最近两周出去面试遇到的面试题(前端初级、长更)[通俗易懂]以下面试题不分先后顺序 1、vue实现双向数据绑定原理是什么? 2、v-model语法糖是怎么实现的 3、Hash和history有什么区别 4、深拷贝和浅拷贝 5、原型和原型链 6、箭头函数和普通函

    2023-03-02
    141
  • Mysql/Mariadb主从复制「建议收藏」

    Mysql/Mariadb主从复制「建议收藏」概念 什么是·Mysql/Mariadb主从复制? Mysql/Mariadb主从复制:当Master(主)数据库发生变化的时候,变化实时会同步到slave(从)数据库中; 类似于:Samb

    2022-12-17
    135
  • Python字符串替换方法:轻松修改文本内容

    Python字符串替换方法:轻松修改文本内容在Python中,字符串是一种重要的数据类型。相比较其他的编程语言,Python提供了一个非常强大的字符串处理机制。在日常开发中,我们常常需要对文本内容进行修改。本文将为大家介绍Python的字符串替换方法,帮助大家轻松修改文本内容。

    2024-04-07
    73
  • MySQL SQL语句是如果被执行的?(1)「终于解决」

    MySQL SQL语句是如果被执行的?(1)「终于解决」一个SQL语句被发送到MySQL是如果被执行的? select name,age from user where age > 8 如上一个SQL语句,发送到MySQL服务器之后,会做什么,如何识别上…

    2023-02-15
    152

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注