Средство просмотра и форматирования JSONL Плавно обрабатывает большие файлы: просмотр, поиск, проверка и преобразование

Почему использовать специальный просмотр JSONL?

JSONL (JSON Lines), также называется NDJSON, хранит одно значение JSON в строке. Он широко используется для наборов данных точной настройки LLM, входов и выходов batch API, журналов и экспорта данных. Файл JSONL не является одним действительным документом JSON, поэтому обычные форматеры JSON выдают ошибки, а многомегабайтные файлы часто зависают браузерные редакторы.

Как этот инструмент остаётся быстрым

• Файлы читаются по частям и строится только индекс строк; весь файл никогда не преобразуется в одну гигантскую строку.
• Список использует виртуальную прокрутку, поэтому отображаются только видимые десятки строк, даже при миллионах строк.
• Анализируется и подсвечивается синтаксис только строки, на которую вы нажали.
• Проверка, поиск и экспорт выполняются партиями с прогрессом и могут быть отменены в любой момент.

Типичное использование

• Проверьте, что каждая строка набора данных для точной настройки является действительным JSON, и найдите номера сломанных строк.
• Поищите большой журнал разговора по ключевому слову и экспортируйте результаты как новый файл JSONL.
• Посмотрите, как часто появляется каждое поле верхнего уровня, чтобы обнаружить несогласованные записи.
• Преобразуйте JSONL в стандартный массив JSON или экспортируйте минифицированный JSONL.

При экспорте в массив JSON недействительные строки пропускаются и отображается количество. Очень большие файлы (сотни МБ) требуют дополнительной памяти для экспорта; если браузер замедляется, сначала отфильтруйте поиском и экспортируйте только нужное. См. JSONL на Википедии для получения формата.