Переглядач та Форматер JSONL Гладко обробляє великі файли: переглядайте, шукайте, перевіряйте та конвертуйте

Чому використовувати спеціалізований переглядач JSONL?

JSONL (JSON Lines), також називається NDJSON, зберігає одне значення JSON на рядок. Він широко використовується для LLM наборів даних тонкого налаштування, пакетних вхідних та вихідних даних API, журналів і експорту даних. Файл JSONL не є одним дійсним документом JSON, тому звичайні форматери JSON генерують помилки на ньому, а файли розміром кілька мегабайт часто зависляють браузерні редактори.

Як цей інструмент залишається швидким

• Файли читаються блоками і будується лише індекс рядків; весь файл ніколи не перетворюється на одну гігантську рядок.
• Список використовує віртуальну прокрутку, тому рендериться лише кілька десятків видимих рядків, навіть з мільйонами рядків.
• Лише рядок, на який ви натиснули, аналізується та виділяється синтаксисом.
• Перевірка, пошук і експорт виконуються партіями з прогресом і можуть бути скасовані будь-коли.

Поширене використання

• Перевірте, що кожен рядок набору даних тонкого налаштування є дійсним JSON, і знайдіть номери розбитих рядків.
• Шукайте великий журнал розмов за ключовим словом і експортуйте результати як новий файл JSONL.
• Дивіться, як часто з'являється кожне поле верхнього рівня, щоб виявити непослідовні записи.
• Перетворіть JSONL на стандартний JSON масив або експортуйте мініфіковану JSONL.

При експорті в JSON масив неправильні рядки пропускаються та відображається кількість. Дуже великі файли (сотні МБ) потребують додаткової пам'яті для експорту; якщо браузер сповільнюється, спочатку відфільтруйте пошуком і експортуйте лише те, що вам потрібно. Див. JSON на Вікіпедії для формату.