Trình xem & định dạng JSONL Xử lý các tệp lớn mượt mà: xem, tìm kiếm, xác thực và chuyển đổi

Tại sao sử dụng trình xem JSONL chuyên dụng?

JSONL (JSON Lines), còn được gọi là NDJSON, lưu trữ một giá trị JSON trên mỗi dòng. Nó được sử dụng rộng rãi cho các tập dữ liệu tinh chỉnh LLM, đầu vào và đầu ra API hàng loạt, nhật ký và xuất dữ liệu. Tệp JSONL không phải là một tài liệu JSON hợp lệ duy nhất, vì vậy các trình định dạng JSON thông thường sẽ gặp lỗi trên nó, và các tệp có kích thước nhiều megabyte thường sẽ làm đông cứng các trình soạn thảo dựa trên trình duyệt.

Công cụ này duy trì tốc độ như thế nào

• Tệp được đọc theo từng phần và chỉ xây dựng chỉ mục dòng; toàn bộ tệp không bao giờ được chuyển thành một chuỗi khổng lồ.
• Danh sách sử dụng cuộn ảo, do đó chỉ có vài chục dòng hiện thị được hiển thị, ngay cả với hàng triệu dòng.
• Chỉ dòng bạn nhấp vào mới được phân tích và tô sáng theo cú pháp.
• Xác thực, tìm kiếm và xuất chạy theo lô với tiến độ và có thể bị hủy bất kỳ lúc nào.

Cách sử dụng phổ biến

• Kiểm tra rằng mỗi dòng của tập dữ liệu tinh chỉnh là JSON hợp lệ và tìm các số dòng bị hỏng.
• Tìm kiếm nhật ký trò chuyện lớn theo từ khóa và xuất các kết quả khớp dưới dạng tệp JSONL mới.
• Xem mỗi trường cấp cao nhất xuất hiện bao nhiêu lần để phát hiện các bản ghi không nhất quán.
• Chuyển đổi JSONL thành mảng JSON tiêu chuẩn hoặc xuất JSONL nén.

Khi xuất sang mảng JSON, các dòng không hợp lệ bị bỏ qua và số lượng được hiển thị. Các tệp rất lớn (hàng trăm MB) cần bộ nhớ bổ sung để xuất; nếu trình duyệt chậm lại, hãy lọc bằng tìm kiếm trước và chỉ xuất những gì bạn cần. Xem JSON trên Wikipedia để biết định dạng.