본문 바로가기

슬기로운 인턴생활2

[슬기로운 인턴생활] 네 번째 TASK - MongoDB에서 유사 데이터 join 네 번째 TASK - MongoDB에서 유사 데이터 join 01. TASK 요약 지팬스 스마트로에서 진행하고 있는 주요 사업 중 하나는 해양수산 빅데이터를 판매하는 것이다. 현재 선박 관련 데이터는 실시간으로 MongoDB에 들어오고 있는데, 소비자가 MongoDB에 저장되어있는 데이터를 구매했을 때 (추가 구매를 하도록) 유사한 다른 데이터와 join해서 제공할 수 있도록 하는 것이 이번 업무이다. 여기서 가장 큰 문제! MongoDB는 Mysql이 아니라 NoSQL이고, 이는 관계형데이터베이스가 아니기에 DB 내부에서는 join이 불가능하다는 점이다. 정리하자면, 관계형 데이터베이스(RDB)에 해당하지 않는 몽고디비에 저장된 데이터를 어떻게 join해서 csv파일로 저장하는 것이 가장 효율적인 방식.. 2024. 3. 25.
[슬기로운 인턴생활] 세 번째 Task - DB에서 불러온 데이터로 TAT 고도화 세 번째 Task - DB에서 불러온 데이터로 TAT 고도화 01. 개요 엑스프레소로 가져오는 실시간 위치 데이터를 참고하여, 20개 정도의 터미널에 들어왔다 나가는 차량 파악 후 리스트업. (날자 별로 차량이 어느 터미널에서 어느 정도의 시간이 소요되었는지 파악) - tat: 차량이 각 터미널에 들어왔다가 나가는 시간 - 엑스프레소(Expresso): Gpans smartlo 기업에서 개발한 화물 운송 주문 및 수락, 실적관리 등을 담당하는 운송 전용 어플. (https://play.google.com/store/apps/details?id=net.smartlo.expresso&hl=ko&gl=US&pli=1) 02. 사용 tool - PostgreSQL, MongoDB, Python (각각의 DBMS.. 2024. 3. 4.