Tag: csv

Поток больших обучающих и тестовых файлов в DNNClassifier от Tensorflow

У меня есть огромный CSV-файл для обучения (709M) и большой файл CSV для тестирования (125M), который я хочу отправить в DNNClassifier в контексте использования высокоуровневого Tensorflow API. Похоже, что параметр input_fn принятый по fit и evaluate должен содержать все данные о input_fn и input_fn в памяти, но в настоящее время я хотел бы запустить это […]

Pandas to_csv вызывает запятую

У меня есть файл данных, apples.csv, который имеет заголовки, такие как: "id","str1","str2","str3","num1","num2" Я прочитал его в dataframe с пандами: apples = pd.read_csv('apples.csv',delimiter=",",sep=r"\s+") Затем я делаю некоторые вещи, но игнорирую это (я все это прокомментировал, и мои общие проблемы все еще происходят, поэтому указанные вещи здесь неактуальны). Затем я сохраняю его: apples.to_csv('bananas.csv',columns=["id","str1","str2","str3","num1","num2"]) Теперь, глядя на bananas.csv, […]

написать запятую в CSV-файле, используя python

Я хочу написать текст в файл csv, в одном месте мне нужно написать запятую, и я не знаю, как это сделать так, чтобы не отделить файл от другой ячейки. f.write('1,2,3,45,The Next comma I want to write and not seperate to anoterh cell , so this sentence will bw hole,6,7,8')

Python: сравнение отдельных столбцов в двух файлах csv

Скажем, что у меня есть два CSV-файла (file1 и file2) с содержимым, как показано ниже: file1: fred,43,Male,"23,45",blue,"1, bedrock avenue" file2: fred,39,Male,"23,45",blue,"1, bedrock avenue" Я хотел бы сравнить эти две записи CSV, чтобы увидеть, являются ли столбцы 0,2,3,4 и 5 одинаковыми. Мне не нужна колонка 1. Какой самый питонический способ сделать это? РЕДАКТИРОВАТЬ: Некоторый пример кода […]

разделять запятыми разделенный csv файл с кавычками в python

Ниже у меня есть строка, которая представляет собой одну строку, вытащенную из файла csv. Каждый столбец разделяется запятой, и значение обернуто в "". Каков самый простой способ разобрать значение из каждого столбца в python? "Mr","Bob","","Boberton","","President","","","","Blah, Inc. of Iowa","blah blah blah","","Grand Island","Hall County","NE","68801","7228","United States","308-111-1111","","","PO BOX 1111","","Grand Island","Hall County","NE","11111","1111","United States","","40.00000","-98.0000","Gasoline service stations","11111","1010101010","","","false","SINGLE_LOCATION","","","","","","","","","No","No","No","Owns","No","No","","","55.125905","","0.052369","","100","","100","0","","","1971","Low Risk","Convenience Stores & Truck Stops","1111111","1111111","111111","1111111" […]

Python помогает считывать csv-файл из-за окончания строки

Я пытаюсь создать этот скрипт, который будет проверять имя хоста компьютера, а затем искать в главном списке значение, возвращающее соответствующее значение в файле csv. Затем откройте другой файл и найдите замену. Я знаю, что это должно быть легко, но прежде не делал этого на python. Вот что я до сих пор … masterlist.txt (tab delimited) […]

Преобразование csv в json с помощью python

я очень новичок в программировании, изучал питон за последние 3/4 недели, и это одно из заданий. вход A, B, C, D 1, 2, 3, 4 5, 6, 7, 8 Вывод {{A:”1”, B:”2”, C:”3”, D:”4”}, {A:”5”, B:”6”, C:”7”, D:”8”}} я пытался с кодом как import csv import json csvfile = open('test.csv','r') jsonfile = open('test.json','w') x = […]

загрузить файл csv в numpy и получить доступ к столбцам по имени

У меня есть файл csv с заголовками вроде: Учитывая этот файл test.csv : "A","B","C","D","E","F","timestamp" 611.88243,9089.5601,5133.0,864.07514,1715.37476,765.22777,1.291111964948E12 611.88243,9089.5601,5133.0,864.07514,1715.37476,765.22777,1.291113113366E12 611.88243,9089.5601,5133.0,864.07514,1715.37476,765.22777,1.291120650486E12 Я просто хочу загрузить его как матрицу / ndarray с 3 строками и 7 столбцами, а также я хочу получить доступ к column vectors из заданного column name . Если я использую genfromtxt (как показано ниже), я получаю […]

csv writer в Python с пользовательским цитированием

Я ищу способ определить настраиваемую quoting с помощью csv.writer в Python. Существует четыре встроенных способа для значений qoute: csv.QUOTE_ALL, csv.QUOTE_MINIMAL, csv.QUOTE_NONNUMERIC, csv.QUOTE_NONE Однако мне нужен механизм цитирования, который будет эмулировать Postgres FORCE QUOTE * , то есть он будет приводить все значения, отличные от None. С csv.QUOTE_ALL Python превратит None в '' но вместо этого […]

Как Pretty Печать CSV-файла в Python

Как я могу печатать CSV-файл с помощью Python, а не внешнего инструмента? Например, у меня есть этот файл CSV: title1|title2|title3|title4 datalongdata|datalongdata|data|data data|data|data|datalongdatadatalongdatadatalongdatadatalongdatadatalongdata data|data'data|dat Я хотел бы преобразовать его, чтобы визуально выглядеть как таблица. Например, что-то вроде этого: + ————————————————————————————————— + | title1 | title2 | title3 | title4 | + ————————————————————————————————— + | datalongdata | […]

Python - лучший язык программирования в мире.