Уберите повторяющиеся строки из списка: с учётом регистра, пробелов или без них, с сохранением первого или последнего вхождения. Всё считается в браузере.
Дубликаты появляются там, где данные собирали из нескольких источников: склейка двух выгрузок, объединение списков рассылки, вставка одного и того же блока в документ дважды. Глазами такой список не проверить — на тысяче строк повторы разбросаны далеко друг от друга, а в таблице они ломают подсчёт и сводные.
Инструмент оставляет по одному вхождению каждого значения и сохраняет порядок остальных строк. Что считать одним и тем же, задают две настройки: флажок регистра и режим сравнения. Вместе они дают четыре варианта — от посимвольного сравнения до списка, в котором «Новый файл», «(новый файл)» и «Новый файл» сведены в одну запись.
Вставьте список в поле «Исходный текст» — по одной записи на строку. Результат появится сразу в панели справа: повторные строки убраны, порядок остальных сохранён. Ничего нажимать не нужно.
Флажок решает, считать ли «Кот» и «кот» одной строкой. Включён — это разные записи, и в списке останутся обе. Выключен — строка приводится к нижнему регистру перед сравнением, и второе вхождение уходит как дубликат. На то, какой из вариантов написания попал в результат, флажок не влияет: остаётся то вхождение, которое выбрано в «Что оставляем».
Строки сравниваются посимвольно, без приведения знаков и пробелов: «Новый файл» и «Новый файл» с двойным пробелом — разные строки. Различаются даже неразрывный пробел и обычный, а также типографское тире и дефис. Регистр при этом по-прежнему задаётся отдельным флажком: с выключенным «Кот» и «кот» совпадут.
Он приводит строку к сравнимому виду: типографские тире становятся дефисом, неразрывные пробелы — обычными, знаки препинания вырезаются, а цепочки пробелов схлопываются в один. Поэтому «Новый файл.», «(Новый файл)» и «Новый файл» совпадают. Для слов этот режим недоступен: в одном слове пробелов нет, и от него осталось бы только вырезание знаков.
По умолчанию остаётся первое вхождение, а повторы ниже по списку удаляются: так сохраняется исходный порядок списка, если дубликаты вставлены рядом. Вариант «Последнее вхождение» оставляет строку на месте последнего повтора — это удобно, когда список потом сортируют и важно, какое значение попало в него позже.
Выберите в параметрах «Слова». Инструмент разберёт каждую строку на слова и оставит каждое слово только один раз, в порядке первого появления. Абзацы и переносы сохраняются, поэтому это работает как быстрый способ убрать повторы из текста, но не как полноценный редактор: знаки препинания остаются на своих местах.
Да. Если в списке несколько пустых строк, лишние будут удалены как дубликаты — после первой пустой все остальные уходят. Если пустые строки вообще не нужны, включите флажок «Удалять пустые строки»: тогда они не попадут в результат ни одной.
Нет. Инструмент не сортирует список: уникальные строки остаются на своих местах, удаляются только повторы. Если нужен алфавитный порядок, отсортируйте результат отдельным инструментом.
Нет. Удаление дубликатов выполняется целиком в браузере на JavaScript, текст никуда не передаётся и не сохраняется. Инструментом можно пользоваться офлайн.