Tag: csv

Python: запись словаря в файл csv с одной строкой для каждого «ключа: значение»

У меня есть словарь: mydict = {key1: value_a, key2: value_b, key3: value_c} Я хочу записать данные в файл dict.csv в этом стиле: key1: value_a key2: value_b key3: value_c Я написал: import csv f = open('dict.csv','wb') w = csv.DictWriter(f,mydict.keys()) w.writerow(mydict) f.close() Но теперь у меня есть все ключи в одной строке и все значения в следующей […]

Ошибка CSV Python: строка содержит NULL-байт

Я работаю с некоторыми CSV-файлами со следующим кодом: reader = csv.reader(open(filepath, "rU")) try: for row in reader: print 'Row read successfully!', row except csv.Error, e: sys.exit('file %s, line %d: %s' % (filename, reader.line_num, e)) И один файл бросает эту ошибку: file my.csv, line 1: line contains NULL byte Что я могу сделать? Google, похоже, предположил, […]

Пропустить заголовки при редактировании файла csv с помощью Python

Я использую приведенный ниже код для редактирования csv с использованием Python. Функции, вызываемые в форме кода, составляют верхнюю часть кода. Проблема: я хочу, чтобы приведенный ниже код начал редактирование csv из второй строки, я хочу, чтобы он исключил первую строку, содержащую заголовки. Сейчас он применяет функции только к первой строке, и моя строка заголовка изменяется. […]

Как обрабатывать данные CSV, как игнорировать первую строку данных?

Я прошу Python напечатать минимальное число из столбца данных CSV, но верхняя строка – это номер столбца, и я не хочу, чтобы Python учитывал верхнюю строку. Как я могу убедиться, что Python игнорирует первую строку? Это код до сих пор: import csv with open('all16.csv', 'rb') as inf: incsv = csv.reader(inf) column = 1 datatype = […]

Каков самый быстрый способ загрузить большой файл csv в блокнот для работы с pandon pandas?

Я пытаюсь загрузить файл csv, который составляет 250 МБ. В основном 4 миллиона строк и 6 столбцов данных временных рядов (1 мин). Обычная процедура: location = r'C:\Users\Name\Folder_1\Folder_2\file.csv' df = pd.read_csv(location) Эта процедура занимает около 20 минут !!!. Очень предварительный я изучил следующие варианты Загрузите куски, а затем соедините куски. HDF5 'перо' 'соленый огурец' Интересно, сравнивал […]

CSV в Python добавляет дополнительный возврат каретки

В Python 2.7, работающем под управлением Windows XP: import csv outfile = file('test.csv', 'w') writer = csv.writer(outfile, delimiter=',', quoting=csv.QUOTE_MINIMAL) writer.writerow(['hi','dude']) writer.writerow(['hi2','dude2']) outfile.close() Он генерирует файл test.csv с дополнительным \ r в каждой строке, например: test.csv hi,dude\r\r\nhi2,dude2\r\r\n вместо ожидаемого: hi,dude\r\nhi2,dude2\r\n Почему это происходит, или это действительно желаемое поведение?

Чтение огромного файла .csv

В настоящее время я пытаюсь читать данные из CSV-файлов в Python 2.7 с до 1 миллиона строк и 200 столбцов (файлы варьируются от 100 до 1,6 ГБ). Я могу сделать это (очень медленно) для файлов с менее чем 300 000 строк, но как только я выхожу выше, я получаю ошибки памяти. Мой код выглядит так: […]

Создание словаря из файла csv?

Я пытаюсь создать словарь из файла csv. Первый столбец csv-файла содержит уникальные ключи, а второй столбец содержит значения. Каждая строка файла csv представляет собой уникальный ключ, пара значений в словаре. Я попытался использовать csv.DictReader и csv.DictWriter , но я мог только выяснить, как создать новый словарь для каждой строки. Я хочу один словарь. Вот код, […]

Python из памяти большого CSV-файла (numpy)

У меня есть CSV-файл 3GB, который я пытаюсь читать с помощью python, мне нужен медианный столбец. from numpy import * def data(): return genfromtxt('All.csv',delimiter=',') data = data() # This is where it fails already. med = zeros(len(data[0])) data = data.T for i in xrange(len(data)): m = median(data[i]) med[i] = 1.0/float(m) print med Ошибка, которую я […]

Чтение и запись CSV-файлов, включая unicode с Python 2.7

Я новичок в Python, и у меня есть вопрос о том, как использовать Python для чтения и записи CSV-файлов. Мой файл содержит, как Германия, французский и т. Д. Согласно моему коду, файлы можно корректно читать на Python, но когда я пишу его в новый CSV-файл, unicode становится странным символом. Данные: И мой код: import csv […]

Python - лучший язык программирования в мире.