본문 바로가기
반응형

대용량데이터2

CSV 파일 크기 문제 해결 방법: 초급, 중급, 고급 단계별 가이드 CSV 파일 크기 문제 해결 방법: 초급, 중급, 고급 단계별 가이드CSV 파일은 데이터를 저장하고 교환하는 데 널리 사용되지만, 파일 크기가 커지면 성능 문제가 발생할 수 있습니다. 초급, 중급, 고급자의 접근 방식을 단계별로 살펴보고, 각 기술 스택의 기본 개념과 장단점을 정리해 보겠습니다.🔹 초급자: 기본적인 CSV 압축 및 최적화✅ 해결 방법 1: CSV 압축하여 저장하기 (ZIP, GZIP)🔹 기술 스택: zip, gzip, tar📌 기본 개념CSV 파일은 텍스트 기반이므로 압축하면 저장 공간을 절약할 수 있습니다. zip과 gzip을 사용하면 손쉽게 압축할 수 있으며, gzip은 CSV를 읽을 때도 압축된 상태로 처리할 수 있어 유용합니다.💡 예제 코드 (Python)import gzi.. 2025. 3. 13.
대용량 CSV 데이터를 다루는 방법 총정리 대용량 CSV 데이터를 다루는 방법 총정리CSV 파일은 데이터 분석과 머신러닝에서 가장 널리 사용되는 데이터 형식 중 하나입니다. 하지만 수백만~수억 줄의 대용량 CSV 데이터를 처리할 때는 메모리 부족, 속도 저하, 분석 불가능한 환경 등의 문제가 발생할 수 있습니다. 이 글에서는 대용량 CSV를 효율적으로 다루는 방법을 소프트웨어별 비교, 초급자/중급자/숙련자 단계별 접근법과 함께 정리합니다. 🚀📌 대용량 CSV 처리를 위한 소프트웨어 비교 소프트웨어/라이브러리 특징 장점 단점 처리 가능 데이터 크기 Microsoft ExcelGUI 기반 데이터 처리사용법이 쉬움, 시각적 분석 가능1,048,576줄 제한, 속도가 느림최대 1M 줄Google Sheets클라우드 기반웹에서 공유 및 협업 가.. 2025. 3. 12.
반응형