Tag: csv

Чтение файла csv из python

У меня были некоторые данные в файле excel. Я поменял файл на файл .csv и попытался написать код python для чтения файла. Но я получаю непредсказуемые результаты. Мой код выглядит так: INPUT_DIR = os.path.join(os.getcwd(),"Input") OUTPUT_DIR = os.path.join(os.getcwd(),"Output") print INPUT_DIR, OUTPUT_DIR def read_csv(): files = os.listdir(INPUT_DIR) for file in files: file_full_name = os.path.join(INPUT_DIR,file) print file_full_name f […]

Как вы динамически идентифицируете неизвестные разделители в файле данных?

У меня есть три файла входных данных. Каждый из них использует другой разделитель для содержащихся в нем данных. Файл данных выглядит так: яблоки | бананы | апельсины | виноград файл данных два выглядит следующим образом: четверть, копейка, никель, пенни файл данных три выглядит следующим образом: корова корова свинья куриная коза (изменение количества столбцов также является […]

Запись файла .CSV в Python, который работает как для Python 2.7+, так и для Python 3.3+ в Windows

EDIT: Я сказал, что в названии, но просто понял, что я не упоминал об этом в теле. Это похоже на Windows. Мне сложно записывать выходные данные, используя модуль csv Python в скрипте, который работает как с Python 2.7, так и с 3.3. Первая попытка, которая работает как ожидается в Python 2.7: with open('test.csv', 'wb') as […]

Python Chunking CSV File Multiproccessing

Я использую следующий код для разделения CSV-файла на несколько фрагментов ( отсюда ) def worker(chunk): print len(chunk) def keyfunc(row): return row[0] def main(): pool = mp.Pool() largefile = 'Counseling.csv' num_chunks = 10 start_time = time.time() results = [] with open(largefile) as f: reader = csv.reader(f) reader.next() chunks = itertools.groupby(reader, keyfunc) while True: # make a […]

Как написать список в файл csv?

У меня есть список, который имеет следующие данные: [[a,b,1], [c,d,3], [a,c,2], [c,d,1]] Как написать этот список списков в файл csv? Я попробовал это, но это не сработало. with open('output.csv', 'w') as f: f.write((list))

Чтение частей файла CSV размером ~ 13000 строк с помощью pandas read_csv и nrows

Я пытаюсь прочитать сегменты CSV-файла в pandas DataFrame, и у меня возникают проблемы, когда я устанавливаю nrows на более чем определенную точку. Мой CSV-файл разделен на разные сегменты с разными заголовками / типами данных, поэтому я просмотрел файл и нашел номера строк в разных сегментах и ​​сохранил номера строк. Когда я пытаюсь сделать: pd.io.parsers.read_csv('filename',skiprows=40, nrows=12646) […]

Самый простой способ чтения csv-файлов с многопроцессорностью в Pandas

Вот мой вопрос. С кучей CSV-файлов (или других файлов). Pandas – это простой способ прочитать их и сохранить в формате Dataframe . Но когда количество файлов было огромным, я хочу прочитать файлы с многопроцессорностью, чтобы сэкономить некоторое время. Моя ранняя попытка Я вручную разделяю файлы на другой путь. Использование по отдельности: os.chdir("./task_1) files = os.listdir('.') […]

Ошибка травления при выполнении команды COPY: CQLShell в Windows

Мы запускаем команду копирования в CQLShell в Windows 7. Сначала мы столкнулись с «IMPROPER COPY COMMAND»: COPY ourdata(data_time, data_ID, dataBlob) FROM 'TestData.csv' WITH HEADER = true; Позднее мы начали получать эту ошибку после выполнения той же команды: Error starting import process: Can't pickle <type 'thread.lock'>: it's not found as thread.lock can only join a started […]

Найдите и замените строки csv, используя список в python

У меня это до сих пор. import csv ifile = open('file', 'rb') reader = csv.reader(ifile,delimiter='\t') ofile = open('file', 'wb') writer = csv.writer(ofile, delimiter='\t') findlist = ['A', 'G', 'C', 'T', 'Y', 'R', 'W', 'S', 'K', 'M', 'X', 'N', '-'] replacelist = ['AA', 'GG', 'CC', 'TT', 'CT', 'AG', 'AT', 'GC', 'TG', 'CA', 'NN', 'NN', '-'] rep = […]

Django создает CSV-файл, который содержит Unicode и может быть открыт непосредственно с помощью Excel

Я хочу создать CSV-файл через Django, который содержит данные Unicode (греческие символы), и я хочу, чтобы он был открыт непосредственно из MS Excel. В другом месте я читал об библиотеке уникодеков, и я решил использовать это. Итак, вот мое мнение; def get_csv (request, id): response = HttpResponse (mimetype = 'text / csv') response ['Content-Disposition'] = […]

Python - лучший язык программирования в мире.