info@webcook.pro Бесплатный анализ сайта

+7 (900) 241-99-93 Рабочий день: 10:00 - 21:00

Получение данных в виде CSV-отчетов с помощью API

Рейтинг:  0 / 5

Звезда не активнаЗвезда не активнаЗвезда не активнаЗвезда не активнаЗвезда не активна
 

Различные API (интерфейсы прикладного программирования) призваны значительно облегчать жизнь как разработчикам, так и пользователям веб-ресурсов. Они способны решать самые сложные задачи, обеспечивать коммуникацию между программами, автоматизировать любые процессы. Мы уже подробно описывали несколько известных API в Drupal: Database API, Queue API, Batch API, Field API, Ctools modal API и т.д. Сегодня поговорим об одной особой миссии, которую можно успешно поручить API: получение данных с сайта в виде удобных CSV-отчетов.

CSV-формат: суть и преимущества

CSV - популярный формат широко используется для импорта и экспорта данных. Его название расшифровывается как Comma-Separated Values (значения, разделенные запятыми), что и описывает суть его работы. Табличные данные хранятся в виде простого текста, где значение разделены запятыми, а строки - символами новой строки. Каждое значение отвечает за одну ячейку таблицы, а каждая строка - соответственно, одной строки таблицы.

CSV-отчеты выглядят очень лаконично. Размер CSV-файла может быть в несколько раз меньше размера XML-файла, что очень экономным решением. Даже база крупного интернет-магазина может уместиться в 1-2 мегабайта. Однако, стоит отметить, что XML несколько выигрывает в CSV о возможностях сложного форматирования.

По умолчанию файл CSV можно посмотреть в текстовом редакторе. Кроме того, его можно открыть в Excel, Google Spreadsheets и подобных программах, а также трансформировать в другие форматы для оптимального представления информации.

Специальная разработка InternetDevels: API для генерирования CSV-отчетов

Чтобы удобно экспортировать CSV-данные, создаются специальные программные решения. Даже если сайт оперирует огромным количеством информации, всегда есть возможность создать функционал, обеспечит легкое вывода всех необходимых данных. Это может быть не только ваш собственный сайт - можно экспортировать данные и с других сайтов, к которым вы видите или которые не являются закрытыми.

У нас уже есть опыт создания API для получения данных с сайта с последующей генерацией CSV-отчетов на основе этих данных - для веб-сайта крупной аналитической платформы в области недвижимости. Она агрегирует множество данных из различных источников, предлагает возможности обработки и систематизации этих данных, а также перевода их в удобные форматы. Такой функционал был ей особенно нужен, и полностью оправдал себя.

Итак, давайте рассмотрим, как работает созданный нами API. Получить CSV-отчеты можно в несколько этапов: отправки запроса к серверу, получение ответа в формате JSON, перевод данных в CSV и сохранение их в файле.

спрашиваем данные

Итак, сначала нам нужно отправить GET-запрос на сервер. Этот запрос состоит из двух частей:

путь к сайту, который всегда остается неизменным (при работе с одним и тем же сайтом) дополнительные параметры, которые позволяют максимально кастомизировать наши CSV-отчеты, чтобы они содержали исключительно ту информацию, которая нас интересует. Дополнительные параметры - это поля и фильтры. Рассмотрим их подробнее.

Удобный поп-ап продемонстрирует нам список полей, среди которых можно выбрать и отметить галочками нужные. Именно так и будут названия колонок в будущей CSV-таблицы (например, цена, ID, адрес и т.д.). Кроме того, можно настроить фильтры, указав, по каким критериям отсортировать данные. Тогда мы получим только те данные, которые подпадают под указанные критерии (например, объекты в определенном диапазоне цен). Получаем данные, переводим их в CSV и сохраняем в файле

«Рассказав» сервера во всех деталях, что мы хотим увидеть в таблице, мы получаем на наш запрос ответ в JSON-формате. Данные анализируются на программном уровне и трансформируются в формат CSV, а затем сохраняются в файле. Такой файл можно легко загрузить, использовать как основу для удобных отчетов в любых популярных форматах, например, представить на сайте в HTML и так далее.

Для быстрого получения статистики наш API работает с мощным сервисом Solr, который сохраняет, индексирует и оперативно ищет нужные данные.

Мы с удовольствием возьмемся за создание функционала для CSV-отчетов или любого другого, который откроет для вашего веб-ресурса новые возможности. Расскажите нам о своих потребностях и идеи - и идеальное программное решение не заставит себя ждать!

Где мы находимся?

Мы находимся в городе Краснодаре. Связаться с нами можно любым удобным для Вас способом.

Наша почта:

info@webcook.pro

Телефон для связи:

+7 (900) 241-99-93

Время принятия заявок

Пн-Вс (10:00 - 20:00)
Без перерывов
© 2015-2017 Веб-студия «WebCook»