얼마 전 수 많은 데이터를 처리해야하는 웹사이트를 구축하면서 데이터베이스를 NoSQL, MongoDB로 처리하였습니다. MongoDB를 사용했던 이유는 조금이라도 빠르고 간단한 개발 프로세스가 목적이었죠. 혼자서 개발에 많은 시간을 최대한 줄이려면 상대적으로 NoSQL이 편하다고 생각했습니다.# NoSQL 성능 개선 및 팁 정리아래는 MongoDB를 사용하면서 겪었던 어려움과 성능 개선을 위한 방법들을 정리한 내용입니다. 이 중에서도 중요한 부분들을 위주로 적어보았습니다.! 정확하고 효과적인 인덱스 설정RDB와 마찬가지로 많은 데이터베이스가 인덱스 기능을 지원합니다. 산재된 수 많은 데이트를 검색할 때 인덱스를 설정한 것과 하지 않는 것은 검색이나 소팅을 수행할때 엄청난 속도 차이를 보여주게됩니다. 또한 인덱스를 설정시 어떤 필드인지... 멀티 필드를 설정할 것인... 마지막으로 오름 또는 내림차순 중 어떤 방헁으로 설정할 것인지 잘 판단해서 설정하도록합니다.! 조건이 많은 쿼리문
2018-03-12 13:06:50NoSQL 역시 다른 Database, RDBMS처럼 인덱스 설정이 필요합니다. 그렇지 않으면 Slow Query 등 검색, 소팅 단계에서 성능에 큰 차이가 발생할 수 있습니다. 아래는 MongoDB에 인덱스를 설정하는 방법과 조회, 추가 및 관련 예제를 자세히 알아봅니다.# 인덱스 조회, 확인하기, 인덱스를 조회하기 위해서 getIndexes()를 사용합니다.> db.collection.getIndexes()아래와 같이 나타납니다.[ { 'v': 1, 'key': { '_id': 1 }, 'name': '_id', 'ns': 'collection' }]# 인덱스 추가하기, createIndex()원하는 필드명을 사용하여 인덱스를 설정, 추가할 수 있습니다. 인덱스를 설정, 추가하는 방법은 아래와 같이 문법을 적용합니다.db.collection.createIndex(keys, options)키에는 필드명과 함께 오름 또는 내림차순에 따라서
2018-02-28 09:41:33MongoDB에서 삭제할 데이터가 있는 경우 remove()를 사용합니다. 만약 find()에 sort(), limit()이 적용된 값들을 삭제하려면 어떻게 할까요?# MongoDB 데이터에서 sort() limit() 적용된 값 삭제방법collection에 find()를 사용하면 커서 객체를 반환되며 여기에 sort(), limit()을 적용할 수 있습니다. 하지만 이렇게 찾아낸 결과값을 삭제하는 메소드는 없기때문에 이와 같은 방법으로 삭제할 수는 없겠죠. 그렇다면 다른 방법은 없을까요? 이 경우 toArray()와 map()을 사용하는 방법이 있습니다. 아래에서 알아보세요.! 배열로 변환 후 변수에 id값을 저장하여 삭제하기반환된 커서객체를 배열로 변환... map()을 사용하여 id값을 모두 반환합니다. 그리고 반환받은 id를 $in 키워드를 사용하여 한번에 삭제하면 원했던 결과를 동일하게 수행할 수 있습니다.@ id -1로 sorting한 후 skip(100) limit(10
2018-02-14 12:49:30하나가 아닌 여러개의 값을 서버에서 받아 MongoDB에 저장하려고 합니다. 예를들어 다수의 글이나 목록 등을 저장하려면 어떻게하면 될까요? 먼저 클라이언트의 요청을 서버에 전달해야합니다. 만약 request로 데이터를 전달할때 다수의 값은 어떻게 받을 수 있을까요?# Python flask에서 배열로 값을 전달받기items로 전달된 값을 우리는 배열로 받아 저장해야합니다. 하나가 아니니까요... 원래 하나의 값은 아래처럼 받았었죠.request.form.get('item')하지만 이번에는 다수의 값이므로 배열로 받아 처리해야합니다. 아래 코드처럼 get을 getlist로 변경하여 수행합니다. 참고로 Django에서는 getList를 사용합니다. 이처럼 배열로 받는 경우는 여러개의 파일을 첨부하여 처리할때도 같은 방법이 사용되죠! 이제 배열로 받기 위해서 아래와 같은 코드를 사용합니다.request.form.getlist('item[]')이제 다수의 값들을 배열로 받아 저장하는 것이
2017-11-12 13:23:26만약 MongoDB 데이터베이스에서 무작위로 아무 값이나 가져오려면 어떤 방법이 있을까요? 아래에서 한번 알아봅니다.# MongoDB 컬렉션에서 랜덤한 값 가져오기아래 방법은 가장 많이 사용되는 간단한 방법들입니다.! skip() size를 랜덤하게 바꾸는 방법다양한 방법이 존재하나 그 중에서 가장 쉽고 편리한 방법이라 할 수 있습니다. 만약 아이템의 개수가 총 100개라면 skip()값을 랜덤하게 0부터 99까지 설정하면 매우 쉽게 가능합니다. 그럼 아래 예제를 봐주세요.! MongoDB 데이터베이스 내용컬렉션 site에는 다음과 같이 총 3개의 값이 있다고 가정합니다. 우리는 여기서 랜덤한 값을 불러오려 합니다.* DB명 : site{ id: 1, name: web}{ id: 2, name: is}{ id: 3, name: free}이제 위 데이터에서 랜덤한 값을 가져와볼까요?totalCount = db.site.count();skipsize = Math.floor(M
2017-10-21 09:30:34MongoDB client를 설치 후 접속하기 위해 mongo 커맨더를 입력할 경우 만약 아래와 같이 에러 메시지를 보았다면 어떻게 할까요?mongoclient couldn't connect to server이 경우 mongoclient에서 cli에 접속할 수 없기에 나타납니다. 원인은 몇 가지가 있을수있는데 아래와 같은 경우를 의심해야합니다.! MongoClient만 설치되고 서버에 서비스될 MongoDB가 설치되지 않은 경우이 경우 아래와 같이 mongodb를 설치하고 다시 시도하면 가능합니다. mongoclient는 서버 데이터베이스에 필요한 모든 기능이 아닌 커맨드라인 인터페이스를 제공합니다.sudo apt-get install mongodb! MongoDB 서비스가 동작중이지 않은 경우데이터베이스 서비스가 동작중인지 확인해보고 중지 또는 시작되지 않은 경우 시작되도록 합니다.service mongod status! 포트번호가 다른 경우기본 포트 정보는 27017이나 다른 포
2017-10-20 04:22:54MongoDB 전체 개수를 가져오는 가장 쉬운 방법에 대하여 알아봅니다. 데이터베이스에서 가져온 컬렉션이 몇개인지 확인하려면 아래의 쿼리문을 사용합니다.# MongoDB에서 불러온 컬렉션의 전체개수불러온 collection의 개수를 알려면 count()를 사용하여 가능합니다.db.collection.count()예를들어 컬렉션이 가진 개수가 총 10개라면 위 결과는 10이 나타나게됩니다. 여러 방법들 중에서 가장 쉽고 많이 사용되는 방법이죠.
2017-10-20 04:21:31웹사이트의 글을 읽다보면 이전글 또는 다음글로 이동하는 링크를 볼 수 있습니다. 만약 MongoDB를 사용하는 경우 이전 또는 다음글을 가져오려면 어떻게해야할까요?# MongoDB에서 이전글 다음글 구현방법아래의 쿼리문은 특정한 필드를 기준으로 이전 또는 다음에 위치한 아이템을 가져오는 방법입니다. 우선 아래와 같은 과정으로 수행합니다.1. 기준이 되는 글 찾기2. 이전 글 또는 다음글을 쿼리를 사용하여 찾기먼저 아래는 현재 글을 찾는 일반적인 쿼리문입니다. _id 필드명을 기준으로 이전 또는 다음 값을 찾아보려합니다.this_id = collection.find_one({'_id': myId})['_id']변수 this_id는 기준이 되는 글의 id값을 저장하고 있습니다. 이 id값을 기준으로 이전 또는 다음글을 찾을 수가 있습니다. 먼저 다음글의 경우 아래와 같이 쿼리문을 사용합니다.# 다음글 가져오는 Query여기서 $lt을 사용하여 이전글의 id를 하나 가져옵니다. 이때 so
2017-09-01 17:01:24몽고DB, MongoDB에서 Auth 사용시 즉 권한 설정이 되어 있는 경우 로그인 방법에 대하여 알아봅니다.먼저 username, password가 설정된 경우에 Shell에서 로그인하려면 인증(Auth)이 필요합니다. 이때 인증을 수행하여 Mongo Shell에 접속하는 방법은 아래와 같습니다.# MongoDB에 사용자, 패스워드로 로그인 방법아래에서 admin은 admin 권한으로 로그인하겠다는 뜻입니다. 뒤의 username과 패스워드를 사용해 mongodb에 접근하도록 합니다.> mongo admin -u username -p 'password'이때 password는 따옴표를 사용하여야 에러가 발생 안하므로 주의하여야 합니다. 위 방법대로 해야 에러가 안나고 Mongo Shell에 접속이 가능합니다.위 방법으로 접근이 안되는 경우라면 admin 권한으로 접근하도록 --authenticationDatabase 옵션을 추가하여 동작해보세요.> mongo admin -u user
2017-08-10 14:46:01AND 및 OR 조건에 따른 검색시 사용가능한 정규표현식 방법입니다. 아래 예제를 봐주세요.nameStr = 'webisfree again'; # AND 조건을 수행하는 방법만약 web 그리고 again이 포함된 데이터를 찾을 경우 아래의 정규식을 사용합니다.nameStr.match(/(?=.*web)(?=.*again)/)정규식에서 사용하는 AND 조건식 방법입니다.# OR 조건을 수행하는 방법만약 web 또는 again이 포함된 데이터, 즉 OR 조건인 경우를 찾는다면 아래의 정규식을 사용합니다. 비슷해 보이나 중간에 | 기호가 있습니다.nameStr.match(/(?=.*web)|(?=.*again)/)위 정규식은 둘 중 하나만 만족해도 존재여부를 확인합니다.
2017-08-09 02:34:58MongoDB에 접속하는 경우 만약 뒤늦게 Auth 설정을 하였다면 Python에서도 MongoDB에 Auth설정이 필요합니다. 아래는 Auth 설정된 MongoDB에 접속하는 방법입니다.# 기존 코드먼저 원래 설정된 MongoClient() 설정코드입니다.client = MongoClient('mongodb://127.0.0.1:27017') 위 코드는 변경 전 코드입니다. 설정된 Auth값의 id와 password를 MongoClient()에 아래와 같이 추가합니다.# 수정된 코드이제 Auth설정이 된 코드입니다. 앞에 user와 password정보를 추가합니다.client = MongoClient('mongodb://myUser:password1234@127.0.0.1:27017')위 예제는 id가 myUser이고 password가 password1234인 경우의 접근방법입니다.이제 Auth 설정된 MongoDB에 Python에서 접근이 가능합니다.
2017-08-08 17:06:19여러이유가 있겠지만 MongoDB의 권한설정은 반드시 필요합니다. 대표적인 이유로 개발중에 remote ip가 필요한 경우가 Auth 설정은 필수적입니다.RemoteIp를 열어둔 경우 ip주소와 port만 알면 누구나 접속할 수 있어 해킹의 위험이 발생합니다. 외부 접속이 반드시 필요하다면 Auth를 사용하기 위해서 User 및 Password를 설정해야합니다.# MongoDB Auth 설정방법 알아보기먼저 아래는 Auth 설정에 필요한 단계입니다. 순서대로 필요한 과정을 설정해야합니다.1. admin 데이터베이스 선택2. 사용할 User 및 Password 추가하기3. auth 권한설정으로 mongoDB 실행하기위 과정은 몽고DB에서 권한 설정하여 사용하는 방법입니다. 자세하게 알아보겠습니다.! admin 데이터베이스 선택 권한AUTH 설정을 위해서 먼저 admin을 선택합니다. 맨 처음 show databases를 입력하면 admin부분이 없는 것으로 보입니다.> show dat
2017-08-08 16:44:20MongoDB(몽고DB)에서 문자열을 모두 바꾸려면 어떻게 할까요? 이 경우 find() 그리고 replace()를 사용하여 변환하는 것이 가능합니다. 이때 모두 바꾸기 위하여 forEach() 루프를 사용합니다. 만약 컬렉션 이름이 만약 site라면 아래와 같이 사용합니다.# MongoDB 전체 문서에서 문자열 변경하는 방법아래 방법은 모든 데이터의 문자열 전체를 변경하는 방법입니다. replace()를 사용합니다.db.site.find().forEach(function(item) { item.field = item.field.replace('이전 문자열', '변경할 문자열'); db.site.save(item); })이처럼 간단하게 함수를 사용하여 가능합니다. 그럼 몇가지 예제를 좀 더 알아봅니다.! abc를 찾아 이를 모두 xyz로 바꾸는 방법db.site.find({'title': /abc/g}).forEach(function(item) { item.field =
2017-07-31 00:26:54MongoDB(몽고db)를 사용하면서 외부파일을 가져오거나 내보낼 경우가 있을 수 있습니다. 백업을 위한 경우도 있으며 아니면 서버를 이전하면서 기존의 데이터베이스를 마이그레이션(Migration)하려고 많은 데이터를 한번에 옮길 수도 있겠죠~ 그럼 아래는 어떻게 import 또는 export하는지 알아보겠습니다. # MongoDB 내보내기, export() 현재의 데이터베이스를 외부 파일로 내보내는 방법입니다. 이때 mongoexport를 사용합니다. 대량의 데이터를 백업하기 위한 방법으로도 사용할 수 있겠죠.mongoexport -d databaseName -c collectionName -o myfile.json --port 27017위 명령어를 실행하면 해당 경로에 myfile.json이라는 파일이 생성됩니다. 해당 파일에는 각각의 데이터가 담겨있겠죠. 여기서 각각의 옵션은 아래 내용입니다.-d 또는 --database 데이터베이스 이름 -c 또는 --collection 컬렉
2017-07-30 21:54:34어제 새롭게 서버 이전을 계획하던 웹페이지에 접속했더니 데이터베이스의 자료를 읽어오지 못하던 오류가 나타났습니다... 갑자기 무슨 일인가 싶어 db에 직접 연결해보니 사용하던 MongoDB의 collection이 존재하지 않더군요. 이게 무슨 일인가 싶었는데 컬렉션을 조회해보니 모르는 데이터베이스가 새로 생성되어 있었습니다. 그 이름이 JUST_READ_ME였습니다..."혹시 해킹?"불길한 마음에 내용을 읽어보니 제 데이터를 보관하고 있다는 내용입니다. 내용은 길지 않았고 너는 해킹을 당했으며 아래로 비트코인을 보내라는 내용이었습니다. 또한 문의사항은 secmail.pro라는 곳의 이메일 계정으로 보내도록 되어있더군요... 그래서 알았습니다. 해킹은 결코 남의 일이 아니라는 것을!# 어떻게 해킹을 당했는가다양한 경로를 확인해보았습니다. 가장 먼자 로그를 살펴보는 것이 좋겠죠... 해커의 접속지는 미국 워싱턴주의 인근으로 나왔지만 이를 확신할 수는 없습니다. ip가 하나가 아니었으며
2017-07-27 09:12:01개발환경을 한 곳이 아닌 여러 곳에 세팅 된 경우 파일 등은 git 또는 svn을 사용하여 작업하면 되지만 데이터베이스의 경우는 이런 방식을 적용하기 어렵습니다. remote 백업을 활용하는 방법 역시 있겠지만 업데이트가 빈번하다면 이것 역시 다소 번거로울 수 있죠. 이런 경우 외부에서 바로 데이터베이스에 접속하는 Remote Access를 활용하는 방법이 있습니다.# 리눅스 기준 MongoDB 외부 접속 가능하도록 변경하기 먼저 /etc/mongod.conf 파일에 접근하여 수정합니다.vim /etc/mongod.conf이제 bindIp 0.0.0.0과 같이 설정된 곳을 찾아 주석처리합니다.bindIp 0.0.0.0 // 변경 이전# bindIp 0.0.0.0 // 변경 후mongoDB 서비스 재시작합니다.service mongod restart이제 외부 접근가능한 ip를 사용하여 db에 접근합니다. 만약 Python을 사용이라면 아래와 같을 것입니다.clien
2017-06-29 23:32:16MongoDB를 사용하는 경우 서비스를 시작 또는 중지하는 방법입니다. OS에 따라 다를 수 있습니다.# Linux 환경아래 명령어는 mongodb의 시작, 재시작, 중지, 상태보기 등을 수행합니다.service mongodb startservice mongodb restartservice mongodb stopservice mongodb status? /var/run/mongodb/mongod.pid exists 에러가 발생하는 경우이 경우 인증, 퍼미션 부분이 해결되어야 합니다. 아래 명령어를 수행 후 다시 확인해보세요.sudo rm /var/run/mongodb/mongod.pidsudo chown mongod:mongod /tmp/mongodb-27017.sockservice mongod status 정상 동작하는지 확인합니다.code snippet widget
2017-06-29 09:21:16만약 AWS 환경에 아마존 리눅스를 사용하는 경우 MongoDB를 인스톨하는 경우 아래와 같이 수행합니다.먼저 Amazon Linux의 경우 기본적인 프로그램들이 미리 설치되어 있을 것입니다. 여기에 yum을 사용하여 MongoDB를 설치합니다. 먼저 리눅스 환경에 repository 설정을 완료하여야합니다./etc/yum.repos.d/mongodb-org-3.0.repo 파일을 생성한 후 아래의 설정을 추가합니다.파일을 생성할 경우 아래처럼 vim을 사용할 수 있을 것입니다.sudo vim /etc/yum.repos.d/mongodb-org-3.0.repo이제 repository에 대한 설정이 끝났습니다. 아래의 설정을 추가하세요.[mongodb-org-3.0]name=MongoDB Repositorybaseurl=https://repo.mongodb.org/yum/amazon/2013.03/mongodb-org/3.0/x86_64/gpgcheck=0enabled=1# Mongo
2017-06-21 22:44:55NoSQL 설계시 많은 컬렉션과 크기가 큰 컬렉션 중 무엇이 더 나을까요?NoSQL은 컬렉션의 집합으로 이 고민은 아래처럼 관계형 데이터베이스 역시 대동소이 할 것입니다.다수의 테이블과 vs 필드가 많은 테이블컬렉션의 크기가 크다하여 성능에 큰 영향을 미치기 어렵겠지만 만약 컬렉션의 수가 크면서 동시에 많은 트랙젝션을 필요로 한다면 이는 분명 성능에 큰 영향을 미칠 수 있습니다. 또한 향후 데이터베이스, 서버의 분산, 확장성 등을 고려했을때 컬렉션의 크기를 줄이고 그 수를 늘리는 작업이 필요할 수 있을 것입니다.
2017-06-21 14:10:04MongoDB에 대하여 알아봅니다.# MongoDB의 이해MongoDB는 HBase 기반의 구조를 갖는 NoSQL 데이터베이스입니다.MongoDB는 Document를 가지며 필드와 값으로 구성됩니다. 모습은 자바스크립트의 JSON과 비슷한 BSON(Binary JSON)으로 JSON의 이진 JSON을 말합니다. 필드의 경우 규칙이 있는데 null, 점기호(.), 달러기호($)를 사용할 수가 없습니다.Table 대신에 Collection이라는 관련있는 데이터의 모집을 갖습니다.# MongoDB NoSQL을 사용한 모델수립 계획높은 퍼포먼스를 위하여 모델수립이 매우 중요합니다.# MongoDB 기타내용데이터베이스의 성능, 확장 등을 고려하여 인덱싱, 샤딩, 복제등의 작업이 수반된다.인덱싱(Indexing) - id 프로퍼티는 자동 처리되므로 이외 필드에 대한 인덱싱이 고려되어야 한다.샤딩(Sharding) - 샤딩은 파편화란 뜻으로 하나의 컬렉션에 대한 분산 작업을 말한다.
2017-06-21 13:43:07
