JSONL 뷰어 및 포매터 큰 파일을 부드럽게 처리: 보기, 검색, 검증 및 변환

전용 JSONL 뷰어를 사용해야 하는 이유는?

JSONL (JSON Lines), NDJSON이라고도 불리며, 한 줄에 하나의 JSON 값을 저장합니다. LLM 미세 조정 데이터 세트, 배치 API 입력 및 출력, 로그 및 데이터 내보내기에 널리 사용됩니다. JSONL 파일은 하나의 유효한 JSON 문서가 아니므로 일반 JSON 포매터는 오류를 발생시키며, 다중 메가바이트 파일은 브라우저 기반 편집기를 자주 정지시킵니다.

이 도구가 빠른 이유

• 파일은 청크로 읽어지고 라인 인덱스만 빌드되므로 전체 파일이 하나의 거대한 문자열로 변환되지 않습니다.
• 목록은 가상 스크롤을 사용하므로 수백만 라인이 있어도 보이는 적은 수의 라인만 렌더링됩니다.
• 클릭한 라인만 구문 분석되고 강조표시됩니다.
• 검증, 검색 및 내보내기는 배치로 실행되며 진행 상황이 표시되고 언제든지 취소할 수 있습니다.

일반적인 용도

• 미세 조정 데이터 세트의 모든 라인이 유효한 JSON인지 확인하고 손상된 라인 번호를 빠르게 찾습니다.
• 키워드로 큰 대화 로그를 검색하고 일치 항목을 새 JSONL 파일로 내보냅니다.
• 각 최상위 필드가 나타나는 빈도를 확인하여 데이터 필드 일관성을 확인합니다.
• JSONL을 표준 JSON 배열로 변환하거나 압축된 JSONL을 출력합니다.

JSON 배열로 내보낼 때 잘못된 라인은 건너뛰어지고 개수가 표시됩니다. 매우 큰 파일 (수백 MB 이상)은 내보내기에 추가 메모리가 필요합니다. 브라우저 속도가 느려지면 먼저 검색으로 필터링한 후 필요한 부분만 내보내는 것을 권장합니다. 형식 사양은 Wikipedia의 Line-delimited JSON를 참조하세요.