CSV를 Parquet으로 변환

CSV를 Parquet으로 변환하는 방법

1. .csv, .tsv, .txt 파일을 열거나 도구 위에 끌어다 놓거나 행을 붙여넣으세요. 입력의 표를 확인하고, 필요하면 가져오기 설정에서 구분 기호, 머리글 행, 인코딩을 지정하세요.
2. 값 유형, 압축, 빈 텍스트를 null로 쓰기 여부, 행 그룹당 행 수를 정하세요.
3. Parquet 다운로드를 누른 다음, 받은 .parquet 파일을 DuckDB, pandas, Polars, Spark 같은 Parquet 리더에서 열어 읽으면 됩니다.

같은 설정으로 여러 파일을 변환하려면 일괄 변환: 여러 파일 변환을 고르세요. 파일마다 Parquet 파일이 하나씩 만들어지고 ZIP 하나로 함께 다운로드됩니다. 일괄 변환에서는 파일 하나가 25 MB 이하여야 합니다.

스키마와 열 유형

열 이름은 머리글 행에 적힌 그대로 가져옵니다. 빈 머리글은 Column 3, 중복된 머리글은 name (2)가 되므로 Parquet 열 이름은 모두 고유합니다. 모든 열은 선택 사항(null 허용)입니다.

유형이 지정된 열에서 빈 셀은 항상 null입니다. 문자열 열에서는 빈 텍스트를 null로 쓰기(기본으로 켜짐)가 빈 셀을 null로 쓸지 빈 문자열 ""로 쓸지 정합니다.

압축과 행 그룹

파일 메타데이터에는 쓰기 라이브러리(hyparquet)와 created_by_app 키도 기록됩니다.

CSV를 Parquet으로 바꿀 때 흔한 문제

• 숫자 열이 STRING입니다. 모든 값을 텍스트로 유지가 선택되어 있거나, 1,234, 12 kg, 007, 16자리 소수처럼 일반 숫자가 아닌 값이 있습니다. 열 프로필이나 CSV 뷰어로 찾으세요.
• 다른 도구에서 ID의 앞자리 0이 사라졌습니다. 이 변환기는 앞자리 0이 있는 열을 절대 숫자로 만들지 않습니다. ID가 바뀌었다면 변환하기 전에 CSV를 스프레드시트에서 열었다가 저장했을 가능성이 큽니다. CSV 뷰어에서 원본 파일을 확인하세요.
• 모든 값이 한 열에 들어 있습니다. 구분 기호를 잘못 추측했습니다. 가져오기 설정에서 고르세요.
• 파일이 이 도구에서 다루기에 너무 큽니다. Parquet 변환은 25 MB, 10만 행, 250열, 200만 셀까지의 파일에서 동작합니다. CSV를 나눈 다음 나뉜 파일을 변환하거나, 다운로드 크기만 줄이면 된다면 gzip으로 CSV를 압축하세요.

한도와 개인정보 보호

CSV는 브라우저 작업 공간에서 열 수 있어야 합니다. 25 MB, 10만 행, 250열, 200만 셀까지입니다. Parquet 파일은 메모리 안에서 한 번에 만들어집니다.

쓰기 라이브러리는 순수 JavaScript로 된 hyparquet-writer이며 변환할 때만 불러옵니다. WebAssembly나 서버 단계는 없습니다. 이 탭의 백그라운드 워커에서 실행되므로 페이지가 멈추지 않고, 취소로 중단할 수 있습니다. CSV는 서버로 보내지 않습니다. 쿼리할 수 있는 데이터베이스 파일이 필요하면 CSV를 SQLite로를 사용하세요.

예시: PyArrow로 다시 읽은 센서 측정값

앞자리 0이 있는 ID, ISO 타임스탬프, 빈 셀, 따옴표 안의 쉼표가 있는 센서 측정값을 숫자와 true/false 감지와 기본 Snappy 압축으로 변환한 뒤 PyArrow로 다시 읽은 결과입니다. temp_c는 DOUBLE, ok는 BOOLEAN이 되었고, sensor_id와 reading_at은 문자열로 남았습니다. 기본값인 모든 값을 텍스트로 유지를 쓰면 다섯 열이 모두 string이고 ok도 적힌 그대로 TRUE를 유지합니다.

sensor_id,reading_at,temp_c,ok,site
000917,2026-03-01T08:00:00Z,21.5,true,Lab 2
000918,2026-03-01T08:05:00Z,,false,
000919,2026-03-01T08:10:00Z,-3,TRUE,"Roof, north"

schema:
  sensor_id: string
  reading_at: string
  temp_c: double
  ok: bool
  site: string
rows: 3, row groups: 1, compression: SNAPPY

{'sensor_id': '000917', 'reading_at': '2026-03-01T08:00:00Z', 'temp_c': 21.5, 'ok': True, 'site': 'Lab 2'}
{'sensor_id': '000918', 'reading_at': '2026-03-01T08:05:00Z', 'temp_c': None, 'ok': False, 'site': None}
{'sensor_id': '000919', 'reading_at': '2026-03-01T08:10:00Z', 'temp_c': -3.0, 'ok': True, 'site': 'Roof, north'}