개요 AI/ML 알고리즘에 데이터를 넣기 위해서는 텍스트 로그나 CSV 파일을 컴퓨터가 계산하기 좋은 형태로 다듬어야 한다. 이 전처리 작업의 핵심 도구가 pandas와 numpy다. 이번 포스팅은 개념 소개에서 끝내지 않고, Ubuntu 실습 환경 세팅부터 필터링, 통계 계산, CSV 읽기까지 실제 실행 결과를 눈으로 확인하면서 진행한다. WHY — 엑셀로는 대용량 로그를 볼 수 없다 현업에서 방화벽 Syslog나 스위치 로그를 엑셀로 열어본 적이 있다면, 수십만 줄이 넘는 순간 프로그램이 멈추거나 렉이 걸리는 경험을 해봤을 것이다. pandas는 기가바이트 단위의 텍스트 로그나 CSV 파일도 메모리에 올려 순식간에 표(DataFrame) 형태로 만들어버린다. 이것이 엑셀 대..