Загрузка изображения Scrapy, как использовать пользовательское имя файла

Для моего проекта по очистке я в настоящее время использую ImagePipeline . Загруженные изображения хранятся с хэшем SHA1 их URL-адресов в качестве имен файлов. Как я могу сохранить файлы с помощью собственных имен файлов? Что делать, если мое собственное имя файла должно содержать другое очищенное поле из того же элемента? например, используйте item['desc'] и имя […]

Можно ли получить список ключевых слов в Python?

Я хотел бы получить список всех ключевых слов Pythons в виде строк. Это также было бы весьма изящно, если бы я мог сделать аналогичную вещь для встроенных функций. Что-то вроде этого : import syntax print syntax.keywords # prints ['print', 'if', 'for', etc…]

Не удалось установить Python и GDAL (сбой загрузки DLL)

Я пытаюсь установить GDAL и Python на рабочую станцию ​​Windows 7. Python-версия: 2.6.6 Gdal 1.8 (Visual Visual C ++ Studio 2010 Express) Я выполнил инструкции на http://ucsb.pbworks.com/w/page/1936549/Using-GDAL-with-Python и добавил PYTHONPATH и GDAL_DATA к моим переменным системной среды. Кроме того, я изменил свою переменную PATH, добавив папку двоичных файлов GDAL. Связи GDAL Python, загруженные с: http://vbkto.dyndns.org/sdk/PackageList.aspx?file=release-1600-gdal-1-8-mapserver-5-6.zip […]

Regex для существования некоторых слов, порядок которых не имеет значения

Я хотел бы написать регулярное выражение для поиска существования некоторых слов, но порядок их появления не имеет значения. Например, найдите «Тим» и «Глупый». Мое регулярное выражение – Tim.*stupid|stupid.*Tim . Но возможно ли написать более простое регулярное выражение (например, так, что два слова появляются только один раз в самом регулярном выражении)?

Итерация через вектор scipy.sparse (или матрицу)

Мне интересно, как лучше всего перебирать ненулевые записи разреженных матриц с scipy.sparse. Например, если я делаю следующее: from scipy.sparse import lil_matrix x = lil_matrix( (20,1) ) x[13,0] = 1 x[15,0] = 2 c = 0 for i in x: print c, i c = c+1 выход 0 1 2 3 4 5 6 7 8 […]

Система управления событиями в Python

Я пытаюсь реализовать процесс, управляемый событиями, с системным вызовом или подпроцессом. В основном я хочу запустить неблокирующую системную команду, и после завершения этого системного вызова я хочу вызвать функцию. Это значит, что я могу запустить индикатор выполнения GUI, запустить системную команду и продолжить индикатор выполнения, а при завершении системного вызова – остановить индикатор выполнения. То, […]

python: самый элегантный способ пересечения списка с элементом

Входные данные: intersperse(666, ["once", "upon", "a", 90, None, "time"]) Вывод: ["once", 666, "upon", 666, "a", 666, 90, 666, None, 666, "time"] Какой из самых элегантных (читай: Pythonic) способ писать в нескольких intersperse ?

Тайм-аут для всех запросов python.

Я собираю статистику по списку сайтов, и я использую для этого запросы для простоты. Вот мой код: data=[] websites=['http://google.com', 'http://bbc.co.uk'] for w in websites: r= requests.get(w, verify=False) data.append( (r.url, len(r.content), r.elapsed.total_seconds(), str([(l.status_code, l.url) for l in r.history]), str(r.headers.items()), str(r.cookies.items())) ) Теперь, я хочу requests.get timeout через 10 секунд, чтобы цикл не застрял. Этот вопрос тоже […]

Как обрабатывать кодировку ответа из urllib.request.urlopen ()

Я пытаюсь найти веб-страницу с использованием регулярных выражений, но я получаю следующую ошибку: TypeError: не может использовать шаблон строки для объекта с байтом Я понимаю, почему, urllib.request.urlopen () возвращает поток bytestream, и поэтому, по крайней мере, я предполагаю, re не знает кодировку для использования. Что я должен делать в этой ситуации? Есть ли способ указать […]

Выравнивание DataFrames с одинаковыми столбцами, разные уровни индекса

У меня есть два панда DataFrames – weight имеет простой указатель на столбцах Land Use . concentration имеет MultiIndex по Land Use и Parameter . import pandas from io import StringIO conc_string = StringIO("""\ Land Use,Parameter,1E,1N,1S,2 Airfield,BOD5 (mg/l),0.418,0.118,0.226,1.063 Airfield,Ortho P (mg/l),0.002,0.001,0.001,0.002 Airfield,TSS (mg/l),1.773,11.47,0.862,0.183 Airfield,Zn (mg/l),0.001,0.001,4.95E-05,0.001 "Commercial",BOD5 (mg/l),0.036,0.0419,,0.315 "Commercial",Cu (mg/l),4.37E-05,7.34E-05,,0.00039 "Commercial",O&G (mg/l),0.0385,0.127,,0.263 Open Space,TSS (mg/l),0.371,3.01,1.209,0.147 Open […]

Python - лучший язык программирования в мире.