SQL vs NoSQL SQL은 테이블 형식, NoSQL은 정형화되지 않은 데이터베이스 형식. SQL의 기본 개념인 테이블, 관계의 개념을 NoSQL에서는 콜렉션, 그리고 참조 혹은 내장형의 개념 정도로 생각할 수 있겠다. SQL은 정형화되어 있어서 머릿속에 사실 구도를 그리는 것이 상대적으로 편하다. 반면, NoSQL은 구조가 정형화되어 있지 않아서 머릿속에 구조를 명확하게 그리기가 처음에 쉽지 않다. 하지만 그로 인한 장점은 확장성에 있다고 할 수 있겠다. 예를 들어 SQL에서는 데이터를 정해진 테이블의 형태 안에 넣어야만 하지만 NoSQL에서는 그런 부분을 제약조건으로 추가하거나 혹은 제약 조건 없이 다양한 형태의 데이터를 하나의 콜렉션(SQL로 치면 하나의 테이블)에 몽땅그리 저장할 수 있다는 장..

Exploratory Data Analysis(EDA) is always a starting point for Data analysis, and it is about getting an intuitive understanding of the data. First, you need to decide what to test, and then you can use statistics to test out what the data delivers. Data Quality: Where does the data come from, and how accurate are they? The below table summarises the star rating of data quality suggested by David..

Database Application system # 3-Tier Architecture Client: GUI, Web interface, display of info [i.e. HTML, CSS, JS] Application server or Web server: Application programs, web pages - stores biz rules, implement logic [i.e. divided by NodeJS, Python, Java, PHP, C; host language + SQL, NoSQL; Data sub-language] Database server: Database Management System - hosts DBMS (accept and process queries an..

Modelling for RDBMS 1. Define schema 2. develop the application and DB queries -> One correct solution, no revision/Data duplicates /Usage makes schema demoralised(Performace dropping) Modelling for MongoDB 1. Develop and define the data model 2. re-define data model 3. Improve the application 4. improve the data model 5. repeat cycle 3 and 4 -> Multiple design options/design for usage patterns/..

Data Systems : combines different data storage technologies : caches, indexes and data in sync with application code : API(application programming interface) to hide architectural complexity : There are three ways to deal with requests in this figure, 1. In-memory cache 2. Primary database 3. Full-text index Before checking DB, check the cache to see if the data is cached. If there is no cache, ..

PyMongo MongoDB Client-side JSON(Python) Python App, PyMongo Driver NoSQL BSON(MongoDB) Install and Use PyMonggo + DNSPython(to connect MongoDB Atlas) python -m pip install pymongo python -m pip install dnspython import pymongo from pymongo import MongoClient conn_str="mongodb+srv"://:@.mongodb.net/myFristDatabase" client = MongoClient(conn_str, serverSelectionTimeoutMs=5000) try: print(client.s..

NoSQL (Not only SQL, Non-SQL) Categories of NoSQL Systems Key-Value based NoSQL: Riak, Redis, Scalaris, Amazon DynamoDB Document-based NoSQL: MongoDB, CouchDB, OrientDB Column-base NoSQL: Google BigTable, Cassandra, Hbase, Amazon DynamoDB, Graph-based NoSQL: Neo4J, InfoGrid, FlockDB ACID Principle: RDBMS Gold Standard! Atomicity: Transactions are completely done or not done at all. Consistency: ..

처음 유학을 가야겠다는 마음을 먹고 정확하게 두 달 뒤에 나는 영국으로 출발했다. 첫 시작은 7월 초, 그리고 내가 한국을 떠난 게 8월 31일이니까 정확하게 두 달. (물론 중간에 파리를 들렀지만) 대학원을 가고 싶다는 마음은 오래도록 있었다. 다만, 그 만큼의 시간동안 돈은 안 벌면서 공부만 했다가 결국 일년 뒤 내 미래가 보장될까 라는 불확실성 때문에도 나는 선뜻 마음먹기만 했던 일을 시도하지 못했다. 그렇게 시간은 흘러 흘렀다. 처음 대학원을 가고 싶단 생각을 했던 20대에서 어느 덧 훌쩍 30대 중반이 되어버린 나. 20대 때는 돈이 없었고 30대가 되니 안정한 삶을 내려놓고 불안정을 선택하기가 두려웠다. 그럼에도 불구하고 공부하고 싶다는 욕심은 계속 내려 놓질 못했다. 인강을 찾아듣고 자격증 ..

A systematic analysis of a schema to Eliminate redundancy Eliminate data modification problems Simplify queries on the DB possibly) improve efficiency Problems with INSERTING - If there are columns which doesn't include data: You have to fill them up with NULL, which is not recommended. (waste of memory and inefficient) Problems with UPDATING - If the one of value needs to be updated: If that va..

Stored Procedure : Define your commands to run several queries by calling one procedure. You can use the conditional command, and it allows you to run the queries depending on what you get. The statement starts with DELIMITER / and finishes with DELIMITER ; Trigger This allows the DBMS to run some query every time a certain query runs. For instance, if you want to update the record of visiting, ..