Лучший способ снять пунктуацию со строки

Кажется, должен быть более простой способ, чем:

import string
s = "string. With. Punctuation?" # Sample string 
out = s.translate(string.maketrans("",""), string.punctuation)

Есть?

5.11.2008 17:30:32
Кажется довольно простым для меня. Почему вы хотите изменить это? Если вы хотите, чтобы это было проще, просто оберните то, что вы только что написали в функцию
Hannes Ovrén 5.11.2008 17:38:26
Что ж, это просто выглядело как хакерство - использовать побочный эффект от str.translate для выполнения работы. Я думал, что может быть что-то более похожее на str.strip (символы), которые работают на всей строке, а не только на границах, которые я пропустил.
Lawrence Johnston 5.11.2008 18:00:04
Зависит от данных тоже. Использование этого в данных, где есть имена серверов с подчеркиванием в качестве части имени (довольно часто встречается в некоторых местах), может быть плохим. Просто убедитесь, что вы знаете данные и что они содержат, иначе вы можете столкнуться с подмножеством проблем.
EBGreen 5.11.2008 18:10:07
Зависит также от того, что вы называете пунктуацией. " The temperature in the O'Reilly & Arbuthnot-Smythe server's main rack is 40.5 degrees." содержит ровно один знак пунктуации, второй "."
John Machin 8.03.2010 21:49:33
Я удивлен, что никто не упомянул, что string.punctuationвообще не включает неанглийскую пунктуацию. Я думаю о。 ,!? : × «» 〟и так далее.
Clément 3.01.2013 15:40:42
23 ОТВЕТА
РЕШЕНИЕ

С точки зрения эффективности, вы не будете бить

s.translate(None, string.punctuation)

Для более поздних версий Python используйте следующий код:

s.translate(str.maketrans('', '', string.punctuation))

Он выполняет необработанные строковые операции в C с помощью таблицы поиска - не так много, что побьет это, кроме написания собственного кода на C.

Если скорость не беспокоит, другой вариант:

exclude = set(string.punctuation)
s = ''.join(ch for ch in s if ch not in exclude)

Это быстрее, чем s.replace с каждым символом, но не будет работать так же, как и не чистые подходы Python, такие как регулярные выражения или string.translate, как вы можете видеть из приведенного ниже времени. Для такого типа проблем окупаемость на минимально возможном уровне.

Сроки код:

import re, string, timeit

s = "string. With. Punctuation"
exclude = set(string.punctuation)
table = string.maketrans("","")
regex = re.compile('[%s]' % re.escape(string.punctuation))

def test_set(s):
    return ''.join(ch for ch in s if ch not in exclude)

def test_re(s):  # From Vinko's solution, with fix.
    return regex.sub('', s)

def test_trans(s):
    return s.translate(table, string.punctuation)

def test_repl(s):  # From S.Lott's solution
    for c in string.punctuation:
        s=s.replace(c,"")
    return s

print "sets      :",timeit.Timer('f(s)', 'from __main__ import s,test_set as f').timeit(1000000)
print "regex     :",timeit.Timer('f(s)', 'from __main__ import s,test_re as f').timeit(1000000)
print "translate :",timeit.Timer('f(s)', 'from __main__ import s,test_trans as f').timeit(1000000)
print "replace   :",timeit.Timer('f(s)', 'from __main__ import s,test_repl as f').timeit(1000000)

Это дает следующие результаты:

sets      : 19.8566138744
regex     : 6.86155414581
translate : 2.12455511093
replace   : 28.4436721802
899
5.03.2019 21:07:37
Спасибо за информацию о времени, я думал о том, чтобы сделать что-то подобное сам, но ваш написан лучше, чем все, что я бы сделал, и теперь я могу использовать его как шаблон для любого будущего кода синхронизации, который я хочу написать :).
Lawrence Johnston 5.11.2008 19:57:32
Отличный ответ. Вы можете упростить это, удалив таблицу. В документах говорится: «установите для аргумента таблицы значение« Нет »для переводов, которые удаляют только символы» ( docs.python.org/library/stdtypes.html#str.translate )
Alexandros Marinos 1.07.2011 21:24:08
Также стоит отметить, что translate () ведет себя по-разному для объектов str и unicode, поэтому вы должны быть уверены, что вы всегда работаете с одним и тем же типом данных, но подход в этом ответе одинаково хорошо работает для обоих, что удобно.
Richard J 16.01.2015 09:35:37
В Python3 table = string.maketrans("","")следует заменить на table = str.maketrans({key: None for key in string.punctuation})?
SparkAndShine 13.05.2016 23:36:51
Обновление обсуждения, начиная с Python 3.6, regexтеперь является наиболее эффективным методом! Это почти в 2 раза быстрее, чем перевод. Кроме того, наборы и замена больше не так плохи! Они оба улучшены более чем в 4 раза :)
Ryan Soklaski 24.07.2017 22:35:30

Не обязательно проще, но по-другому, если вы больше знакомы с семьей.

import re, string
s = "string. With. Punctuation?" # Sample string 
out = re.sub('[%s]' % re.escape(string.punctuation), '', s)
24
5.11.2008 23:20:04
Работает, потому что string.punctuation имеет последовательность, -. в правильном, восходящем, без пробелов, ASCII порядке. В то время как Python имеет это право, когда вы пытаетесь использовать подмножество string.punctuation, из-за неожиданного «-» это может быть остановкой шоу.
S.Lott 5.11.2008 17:49:45
На самом деле, это все еще не так. Последовательность "\]" обрабатывается как escape (по совпадению, не закрывая) и обходя другой сбой), но оставляет \ unescaped. Вы должны использовать re.escape (string.punctuation), чтобы предотвратить это.
Brian 5.11.2008 18:15:13
Да, я пропустил это, потому что это помогло в примере, чтобы все было просто, но вы правы, что это должно быть включено.
Vinko Vrsalovic 5.11.2008 23:21:14

Я обычно использую что-то вроде этого:

>>> s = "string. With. Punctuation?" # Sample string
>>> import string
>>> for c in string.punctuation:
...     s= s.replace(c,"")
...
>>> s
'string With Punctuation'
28
5.11.2008 17:41:27
Uglified один вкладыш reduce(lambda s,c: s.replace(c, ''), string.punctuation, s).
jfs 11.08.2012 12:03:23
отлично, однако не удаляет некоторые знаки препинания, такие как более длинные
Vladimir Stazhilov 17.01.2015 15:57:08
myString.translate(None, string.punctuation)
51
8.03.2010 15:19:09
ах, я попробовал это, но это работает не во всех случаях. myString.translate (string.maketrans ("", ""), string.punctuation) работает нормально.
Aidan Kane 12.08.2010 12:30:51
Обратите внимание, что strв Python 3 и unicodeв Python 2 deletecharsаргумент не поддерживается.
agf 14.04.2012 00:36:08
myString.translate (string.maketrans ("", ""), string.punctuation) НЕ будет работать со строками Юникода (выяснил трудный путь)
Marc Maxmeister 25.07.2014 19:25:23
TypeError: translate() takes exactly one argument (2 given):(
Brian Tingle 23.04.2015 18:35:54
@BrianTingle: посмотрите на код Python 3 в моем комментарии (он передает один аргумент). Перейдите по ссылке, чтобы увидеть код Python 2, который работает с юникодом, и его адаптацию к Python 3
jfs 15.07.2015 17:21:39

Возможно, это не лучшее решение, но я так и сделал.

import string
f = lambda x: ''.join([i for i in x if i not in string.punctuation])
7
2.09.2013 10:28:30

string.punctuationтолько ASCII ! Более правильным (но также и гораздо более медленным) способом является использование модуля unicodedata:

# -*- coding: utf-8 -*-
from unicodedata import category
s = u'String — with -  «punctation »...'
s = ''.join(ch for ch in s if category(ch)[0] != 'P')
print 'stripped', s

Вы можете обобщать и обрезать символы других типов:

''.join(ch for ch in s if category(ch)[0] not in 'SP')

Он также удалит такие символы, ~*+§$которые могут быть или не быть пунктуацией в зависимости от вашей точки зрения.

25
2.04.2020 03:54:35
Вы могли бы:regex.sub(ur"\p{P}+", "", text)
jfs 11.08.2012 12:07:45
К сожалению, подобные вещи ~не входят в категорию знаков препинания. Вам также необходимо проверить категорию «Символы».
C.J. Jackson 6.10.2019 04:08:00

Мне нравится использовать такую ​​функцию:

def scrub(abc):
    while abc[-1] is in list(string.punctuation):
        abc=abc[:-1]
    while abc[0] is in list(string.punctuation):
        abc=abc[1:]
    return abc
-2
6.04.2013 17:28:57
Это удаление символов с начала и до конца; используйте abc.strip(string.punctuation)вместо этого для этого. Такие символы не будут удалены в середине .
Martijn Pieters♦ 8.02.2016 21:13:12

Регулярные выражения достаточно просты, если вы их знаете.

import re
s = "string. With. Punctuation?"
s = re.sub(r'[^\w\s]','',s)
134
16.09.2019 17:36:50
Объяснение @Outlier: заменяет не (^) символы или пробелы слова на пустую строку. Будьте осторожны, хотя \ w совпадения, например, тоже подчеркивают.
Matthias 3.02.2016 15:28:29
@SIslam Я думаю , что он будет работать с юникодом с установленным флагом юникода, то есть s = re.sub(r'[^\w\s]','',s, re.UNICODE). Тестируя его с python 3 на linux, он работает даже без флага, использующего тамильские буквы, தமிழ்.
Matthias 3.02.2016 15:31:56
@Matthias Я пробовал код с Python 3.6.5 на Mac, вывод тамильских букв выглядит немного иначе, ввод தமிழ் становится தமழ. Я не знаю о тамильском, не уверен, что это ожидается.
shiouming 28.05.2019 02:45:21

Для значений Python 3 strили Python 2 требуется только словарь; кодовые точки (целые числа) ищутся в этом отображении, и все сопоставленное удаляется.unicodestr.translate()None

Чтобы удалить (некоторые?) Знаки препинания, используйте:

import string

remove_punct_map = dict.fromkeys(map(ord, string.punctuation))
s.translate(remove_punct_map)

Метод dict.fromkeys()класса упрощает создание сопоставления, устанавливая все значения на Noneоснове последовательности ключей.

Чтобы удалить все знаки препинания, а не только знаки препинания ASCII, ваша таблица должна быть немного больше; см . ответ Дж.Ф. Себастьяна (версия Python 3):

import unicodedata
import sys

remove_punct_map = dict.fromkeys(i for i in range(sys.maxunicode)
                                 if unicodedata.category(chr(i)).startswith('P'))
13
23.05.2017 12:02:47
Для поддержки Unicode string.punctuationнедостаточно. Смотрите мой ответ
jfs 30.09.2014 20:57:27
@JFSebastian: на самом деле, мой ответ состоял в том, чтобы использовать только те же символы, что и у лучших. Добавлена ​​версия Python 3 вашей таблицы.
Martijn Pieters♦ 30.09.2014 21:08:25
Ответ с наибольшим количеством голосов работает только для строк ascii. Ваш ответ требует явной поддержки Unicode.
jfs 1.10.2014 08:53:10
@JFSebastian: это работает для строк Unicode. Это лишает ASCII пунктуацию. Я никогда не утверждал, что это лишает всех знаков препинания. :-) Суть в том, чтобы обеспечить правильную технику для unicodeобъектов против объектов Python 2 str.
Martijn Pieters♦ 1.10.2014 09:02:54

Вот функция, которую я написал. Это не очень эффективно, но это просто, и вы можете добавить или удалить любую пунктуацию по вашему желанию:

def stripPunc(wordList):
    """Strips punctuation from list of words"""
    puncList = [".",";",":","!","?","/","\\",",","#","@","$","&",")","(","\""]
    for punc in puncList:
        for word in wordList:
            wordList=[word.replace(punc,'') for word in wordList]
    return wordList
6
15.07.2018 08:12:48

Однострочник может быть полезен в не очень строгих случаях:

''.join([c for c in s if c.isalnum() or c.isspace()])
4
15.07.2018 08:13:25

Вот одна строка для Python 3.5:

import string
"l*ots! o(f. p@u)n[c}t]u[a'ti\"on#$^?/".translate(str.maketrans({a:None for a in string.punctuation}))
8
15.07.2018 08:13:41

Для удобства использования я суммирую примечание о чередовании знаков препинания в строке как в Python 2, так и в Python 3. Пожалуйста, обратитесь к другим ответам для подробного описания.


Python 2

import string

s = "string. With. Punctuation?"
table = string.maketrans("","")
new_s = s.translate(table, string.punctuation)      # Output: string without punctuation

Python 3

import string

s = "string. With. Punctuation?"
table = str.maketrans(dict.fromkeys(string.punctuation))  # OR {key: None for key in string.punctuation}
new_s = s.translate(table)                          # Output: string without punctuation
70
9.10.2019 00:54:11

Я еще не видел этот ответ. Просто используйте регулярное выражение; он удаляет все символы, кроме слов символов ( \w) и чисел ( \d), за которыми следует символ пробела ( \s):

import re
s = "string. With. Punctuation?" # Sample string 
out = re.sub(ur'[^\w\d\s]+', '', s)
9
15.07.2018 08:15:19
\dявляется избыточным, так как это подмножество \w.
blhsing 10.01.2019 18:37:26
Числовые символы считаются подмножеством символов Word? Я думал, что символ Word - это любой символ, который может создать реальное слово, например, a-zA-Z?
Blairg23 10.01.2019 20:55:13
Да, «слово» в регулярном выражении включает алфавиты, цифры и подчеркивание. Пожалуйста, смотрите описание для \wв документации: docs.python.org/3/library/re.html
blhsing 10.01.2019 21:10:43
>>> s = "string. With. Punctuation?"
>>> s = re.sub(r'[^\w\s]','',s)
>>> re.split(r'\s*', s)


['string', 'With', 'Punctuation']
4
24.08.2016 05:43:58
Пожалуйста, отредактируйте с дополнительной информацией. Ответы «только код» и «попробуй это» не приветствуются, потому что они не содержат контента для поиска и не объясняют, почему кто-то должен «попробовать это».
Paritosh 24.08.2016 07:29:58

string.punctuationпропускает множество знаков препинания, которые обычно используются в реальном мире. Как насчет решения, которое работает для пунктуации без ASCII?

import regex
s = u"string. With. Some・Really Weird、Non?ASCII。 「(Punctuation)」?"
remove = regex.compile(ur'[\p{C}|\p{M}|\p{P}|\p{S}|\p{Z}]+', regex.UNICODE)
remove.sub(u" ", s).strip()

Лично я считаю, что это лучший способ удалить пунктуацию из строки в Python, потому что:

  • Удаляет все знаки препинания Unicode
  • Это легко изменить, например, вы можете \{S}удалить пунктуацию, если вы хотите удалить знаки препинания, но оставить символы как $.
  • Вы можете точно определить, что вы хотите сохранить и что вы хотите удалить, например \{Pd}, удалит только тире.
  • Это регулярное выражение также нормализует пробелы. Он отображает вкладки, возврат каретки и другие странности в красивые, одиночные пробелы.

При этом используются свойства символов Юникода, о которых вы можете прочитать подробнее в Википедии .

12
15.07.2018 08:17:10

Вот решение без регулярных выражений.

import string

input_text = "!where??and!!or$$then:)"
punctuation_replacer = string.maketrans(string.punctuation, ' '*len(string.punctuation))    
print ' '.join(input_text.translate(punctuation_replacer).split()).strip()

Output>> where and or then
  • Заменяет знаки препинания пробелами
  • Заменить несколько пробелов между словами одним пробелом
  • Удалите завершающие пробелы, если они есть, с помощью полосы ()
4
2.04.2017 20:03:45
#FIRST METHOD
#Storing all punctuations in a variable    
punctuation='!?,.:;"\')(_-'
newstring='' #Creating empty string
word=raw_input("Enter string: ")
for i in word:
     if(i not in punctuation):
                  newstring+=i
print "The string without punctuation is",newstring

#SECOND METHOD
word=raw_input("Enter string: ")
punctuation='!?,.:;"\')(_-'
newstring=word.translate(None,punctuation)
print "The string without punctuation is",newstring


#Output for both methods
Enter string: hello! welcome -to_python(programming.language)??,
The string without punctuation is: hello welcome topythonprogramminglanguage
2
2.01.2017 08:56:57
with open('one.txt','r')as myFile:

    str1=myFile.read()

    print(str1)


    punctuation = ['(', ')', '?', ':', ';', ',', '.', '!', '/', '"', "'"] 

for i in punctuation:

        str1 = str1.replace(i," ") 
        myList=[]
        myList.extend(str1.split(" "))
print (str1) 
for i in myList:

    print(i,end='\n')
    print ("____________")
2
2.04.2017 20:10:23

Удалить стоп-слова из текстового файла с помощью Python

print('====THIS IS HOW TO REMOVE STOP WORS====')

with open('one.txt','r')as myFile:

    str1=myFile.read()

    stop_words ="not", "is", "it", "By","between","This","By","A","when","And","up","Then","was","by","It","If","can","an","he","This","or","And","a","i","it","am","at","on","in","of","to","is","so","too","my","the","and","but","are","very","here","even","from","them","then","than","this","that","though","be","But","these"

    myList=[]

    myList.extend(str1.split(" "))

    for i in myList:

        if i not in stop_words:

            print ("____________")

            print(i,end='\n')
-1
5.01.2017 08:47:40
import re
s = "string. With. Punctuation?" # Sample string 
out = re.sub(r'[^a-zA-Z0-9\s]', '', s)
5
2.03.2017 14:58:39
Похоже, это будет работать только для символов ASCII.
avirr 14.10.2019 19:15:50

В качестве обновления я переписал пример @Brian в Python 3 и внес в него изменения, чтобы переместить шаг компиляции регулярного выражения в функцию. Я думал здесь о том, чтобы рассчитывать каждый шаг, необходимый для работы функции. Возможно, вы используете распределенные вычисления и не можете разделить объект regex между вашими работниками, и вам нужно иметь re.compileшаг к каждому работнику. Кроме того, мне было любопытно провести время двух разных реализаций макетранса для Python 3

table = str.maketrans({key: None for key in string.punctuation})

против

table = str.maketrans('', '', string.punctuation)

Кроме того, я добавил другой метод для использования set, в котором я использую функцию пересечения, чтобы уменьшить количество итераций.

Это полный код:

import re, string, timeit

s = "string. With. Punctuation"


def test_set(s):
    exclude = set(string.punctuation)
    return ''.join(ch for ch in s if ch not in exclude)


def test_set2(s):
    _punctuation = set(string.punctuation)
    for punct in set(s).intersection(_punctuation):
        s = s.replace(punct, ' ')
    return ' '.join(s.split())


def test_re(s):  # From Vinko's solution, with fix.
    regex = re.compile('[%s]' % re.escape(string.punctuation))
    return regex.sub('', s)


def test_trans(s):
    table = str.maketrans({key: None for key in string.punctuation})
    return s.translate(table)


def test_trans2(s):
    table = str.maketrans('', '', string.punctuation)
    return(s.translate(table))


def test_repl(s):  # From S.Lott's solution
    for c in string.punctuation:
        s=s.replace(c,"")
    return s


print("sets      :",timeit.Timer('f(s)', 'from __main__ import s,test_set as f').timeit(1000000))
print("sets2      :",timeit.Timer('f(s)', 'from __main__ import s,test_set2 as f').timeit(1000000))
print("regex     :",timeit.Timer('f(s)', 'from __main__ import s,test_re as f').timeit(1000000))
print("translate :",timeit.Timer('f(s)', 'from __main__ import s,test_trans as f').timeit(1000000))
print("translate2 :",timeit.Timer('f(s)', 'from __main__ import s,test_trans2 as f').timeit(1000000))
print("replace   :",timeit.Timer('f(s)', 'from __main__ import s,test_repl as f').timeit(1000000))

Это мои результаты:

sets      : 3.1830138750374317
sets2      : 2.189873124472797
regex     : 7.142953420989215
translate : 4.243278483860195
translate2 : 2.427158243022859
replace   : 4.579746678471565
5
7.05.2018 14:25:26

Почему никто из вас не использует это?

 ''.join(filter(str.isalnum, s)) 

Слишком медленно?

0
29.07.2019 08:18:31
Обратите внимание, что это также удалит пробелы.
Georgy 29.07.2019 12:36:26