Python (nltk) – UnicodeDecodeError: кодек 'ascii' не может декодировать байт

Я новичок в NLTK. Я получаю эту ошибку, и я искал ее для кодирования / декодирования и, в частности, UnicodeDecodeError, но эта ошибка кажется специфичной для исходного кода NLTK.

Вот ошибка:

  • Если python-dev потребуется для установки pip
  • Traceback (most recent call last): File "A:\Python\Projects\Test\main.py", line 2, in <module> print(pos_tag(word_tokenize("John's big idea isn't all that bad."))) File "A:\Python\Python\lib\site-packages\nltk\tag\__init__.py", line 100, in pos_tag tagger = load(_POS_TAGGER) File "A:\Python\Python\lib\site-packages\nltk\data.py", line 779, in load resource_val = pickle.load(opened_resource) UnicodeDecodeError: 'ascii' codec can't decode byte 0xcb in position 0: ordinal not in range(128) 

    Как мне решить эту ошибку?

    Вот что вызывает ошибку:

     from nltk import pos_tag, word_tokenize print(pos_tag(word_tokenize("John's big idea isn't all that bad."))) 

  • Если python-dev потребуется для установки pip
  • 4 Solutions collect form web for “Python (nltk) – UnicodeDecodeError: кодек 'ascii' не может декодировать байт”

    попробуйте это … NLTK 3.0.1 с Python 2.7.x

     import io f = io.open(txtFile, 'rU', encoding='utf-8') 

    У меня была с тобой такая же проблема. Я использую Python 3.4 в Windows 7.

    Я установил «nltk-3.0.0.win32.exe» ( отсюда ). Но когда я установил «nltk-3.0a4.win32.exe» ( отсюда ), моя проблема с nltk.pos_tag была решена. Проверь это.

    EDIT: Если вторая ссылка не работает, вы можете посмотреть здесь .

    Дубликат: NLTK 3 POS_TAG выбрасывает UnicodeDecodeError

    Короче говоря: NLTK не совместим с Python 3. Вам нужно использовать NLTK 3, который сейчас немного экспериментален.

    Попробуйте использовать модуль "textclean"

     >>> pip install textclean 

    Код Python

     from textclean.textclean import textclean text = textclean.clean("John's big idea isn't all that bad.") print pos_tag(word_tokenize(text)) 
    Python - лучший язык программирования в мире.