CSV 파일 크기 문제 해결 방법: 초급, 중급, 고급 단계별 가이드
CSV 파일 크기 문제 해결 방법: 초급, 중급, 고급 단계별 가이드CSV 파일은 데이터를 저장하고 교환하는 데 널리 사용되지만, 파일 크기가 커지면 성능 문제가 발생할 수 있습니다. 초급, 중급, 고급자의 접근 방식을 단계별로 살펴보고, 각 기술 스택의 기본 개념과 장단점을 정리해 보겠습니다.🔹 초급자: 기본적인 CSV 압축 및 최적화✅ 해결 방법 1: CSV 압축하여 저장하기 (ZIP, GZIP)🔹 기술 스택: zip, gzip, tar📌 기본 개념CSV 파일은 텍스트 기반이므로 압축하면 저장 공간을 절약할 수 있습니다. zip과 gzip을 사용하면 손쉽게 압축할 수 있으며, gzip은 CSV를 읽을 때도 압축된 상태로 처리할 수 있어 유용합니다.💡 예제 코드 (Python)import gzi..
2025. 3. 13.
소프트웨어별 CSV 최대 줄(Row) 수 제한 : excel, XLSX, Google Sheets, MySQL
소프트웨어별 CSV 최대 줄(Row) 수 제한 : excel, XLSX, Google Sheets, MySQL 소프트웨어별 CSV 파일의 최대 줄(Row) 수 제한은 각 프로그램 및 라이브러리의 메모리 할당 방식과 32비트/64비트 환경에 따라 다릅니다. 주요 소프트웨어 및 라이브러리의 CSV 처리 한계를 정리하면 다음과 같습니다.📌 소프트웨어별 CSV 최대 줄(Row) 수 제한 소프트웨어/라이브러리 최대 줄 수 제한 설명 Microsoft Excel (XLSX)1,048,576 줄한 워크시트에서 열 수 있는 최대 행 수 (XLSX 기준)Microsoft Excel (CSV 열기)약 1,048,576 줄메모리 한계에 따라 다를 수 있음Google Sheets10,000,000 셀예를 들어 10개 열이..
2025. 3. 12.
모바일, IoT, 임베디드 시스템에서 사용할 수 있는 머신러닝 모델 정리
모바일, IoT, 임베디드 시스템에서 사용할 수 있는 머신러닝 모델 정리모바일, IoT, 임베디드 시스템에서 머신러닝 모델을 사용할 때 가장 중요한 요소는 경량화된 모델입니다. 일반적인 서버나 고성능 PC에서는 크고 복잡한 모델을 사용할 수 있지만, 모바일 및 IoT 디바이스는 메모리, 연산 속도, 배터리 소모 등의 제약이 있습니다. 이러한 환경에서 사용할 수 있는 대표적인 머신러닝 모델들을 정리하고, 각각의 특징과 적용 방법을 알아보겠습니다.📌 모바일, IoT, 임베디드 머신러닝 모델 비교 모델 특징 장점 단점 학습 적용MobileNet모바일 최적화 CNN 모델, Depthwise Separable Convolution 사용속도 빠름, 모바일에서도 실행 가능대형 모델 대비 정확도 낮음중급쉬움S..
2025. 3. 11.