Очистка данных CSV

Как очистить CSV-файл

1. Откройте файл .csv, .tsv или .txt, перетащите его на инструмент или вставьте строки. Разделитель и метка порядка байтов UTF-8 или UTF-16 определяются автоматически; другой разделитель или устаревшую кодировку можно выбрать в разделе Параметры импорта.
2. В разделе Значения выберите, что исправить в ячейках. Через Применить к столбцам можно ограничить исправления отдельными столбцами; если ничего не выбрано, обрабатываются все.
3. В разделе Строки и столбцы укажите, что делать с пустыми строками, дубликатами и пустыми столбцами.
4. Проверьте уведомление над результатом, сравните его с вкладкой Исходные данные и нажмите Скачать CSV, Копировать или Открыть в редакторе.

Когда данные очищены, проверьте их на соответствие правилам для столбцов с помощью проверки CSV или поменяйте разделитель и кавычки в формате CSV.

Что делает каждый шаг и в каком порядке

Каждое значение проходит включённые шаги в одном и том же порядке, поэтому результат не зависит от того, в какой последовательности вы отмечали настройки.

После значений обрабатываются строки и столбцы: Удалить пустые строки убирает строки, где все ячейки пусты или содержат только пробелы; Дубликаты сравнивает уже очищенные значения; Удалить полностью пустые столбцы выполняется последним. Удаление строк и столбцов всегда учитывает все столбцы, что бы ни было выбрано в Применить к столбцам.

Удаление повторяющихся строк

• Удалить строки, совпадающие во всех столбцах — вариант по умолчанию. Значения должны совпадать в точности после описанных выше шагов для ячеек.
• Удалить строки с одинаковыми значениями в выбранных столбцах считает строки дубликатами, если совпадают выбранные ключевые столбцы, например email или first_name + last_name + zip. Остальные столбцы могут различаться.
• Оставить определяет, какая копия сохранится: Первое вхождение или Последнее вхождение — тогда строка остаётся на месте этой последней копии.
• При сравнении не учитывать регистр и пробелы по краям считает ANA@example.com и ana@example.com одним ключом. Текст оставшейся строки эта настройка не меняет.
• Чтобы отключить удаление дубликатов, выберите Оставить все строки.

Если при удалении дубликатов по ключу должна остаться определённая строка, например самая новая, сначала отсортируйте файл с помощью сортировки CSV.

Что никогда не меняется

• Строка заголовков остаётся как есть, а порядок столбцов меняется только при удалении пустых столбцов. Если пусты все столбцы, ни один не удаляется.
• Значения не преобразуются: 00731, 1e5 и 03/04/2024 остаются текстом в точности как записаны — меняют их только включённые вами шаги.
• Разделители и переносы строк внутри кавычек читаются по RFC 4180 и записываются обратно в кавычках, если вы не заменили переносы строк.
• Пустой заголовок записывается как Column 3, повторяющийся — как name (2). Строки короче строки заголовков дополняются пустыми значениями.
• Скачанный файл сохраняет разделитель, окончания строк и перенос в конце файла, а также кодировку, если это UTF-8 (с BOM или без), UTF-16 LE или Windows-1252; файлы в других кодировках сохраняются в UTF-8.

Устранение неполадок

• Пропали строки, которые нужно было сохранить. Удаление дубликатов включено по умолчанию. Выберите Оставить все строки в разделе Дубликаты или отключите Удалить пустые строки.
• Одинаковые на вид дубликаты остались. Они различаются регистром, пробелами внутри значения, буквами с ударением, набранными двумя способами, или невидимыми символами. Включите При сравнении не учитывать регистр и пробелы по краям, Заменить повторяющиеся пробелы одним, Нормализовать Unicode (NFC) или Удалить невидимые символы.
• «Каждое Слово С Прописной» испортило имена или коды. Ограничьте шаг через Применить к столбцам — например, только столбцом с именем, — чтобы email и артикулы сохранили регистр.
• Значение n/a в нижнем регистре не очистилось. Список чувствителен к регистру: добавьте n/a рядом с N/A.

Ограничения и конфиденциальность

Файлы до 25 МБ, 100 000 строк, 250 столбцов и 2 млн ячеек. Файл больше сначала разбейте с помощью разделения CSV; учтите, что тогда дубликаты будут находиться только внутри каждой части.

Очистка выполняется в вашем браузере. CSV не загружается на сервер.

Пример

Список контактов, очищенный стандартным удалением пробелов по краям и пустых строк, а также с Заменить повторяющиеся пробелы одним, Считать пустыми эти значения со значением N/A, NULL и удалением дубликатов по столбцу email с При сравнении не учитывать регистр и пробелы по краям. Уведомление сообщает о 5 изменённых значениях, одной удалённой пустой строке и одной удалённой повторяющейся строке. Вторая строка с Ana удалена как дубликат, а первая сохранила собственное написание.

name,email,city
"  ana lopez ",ANA@example.com,Madrid
Ana Lopez,ana@example.com ,Madrid
Kim   Lee,kim@example.com,N/A
,,
Bao Nguyen,bao@example.com,NULL

name,email,city
ana lopez,ANA@example.com,Madrid
Kim Lee,kim@example.com,
Bao Nguyen,bao@example.com,