Главная » PHP

Список библиотек на PHP для веб скрапинга

PHP
Автор На чтение 6 мин Просмотров 1.6к. Опубликовано

В этом списке представлены PHP-библиотеки, связанные с веб-скрапингом и обработкой данных

Содержание
  1. Network
  2. Фреймворки для веб-скрапинга
  3. Парсинг HTML/XML
  4. Обработка текста
  5. Обработка в определенных форматах
  6. Обработка естественного языка
  7. Автоматизация и эмуляция браузера
  8. Multiprocessing
  9. Asynchronous
  10. Очереди
  11. Email
  12. Манипулирование URL-адресами
  13. Извлечение веб-контента
  14. WebSocket
  15. Разрешение DNS
  16. Компьютерное зрение
  17. Геокодирование
  18. Другие списки PHP

Network

  • Guzzle — Полноценный HTTP-клиент.
  • Buzz — Другой HTTP-клиент.
  • Requests — Простая HTTP-библиотека.
  • HTTPFul — HTTP-клиент на PHP, совместимый с REST. Разумная альтернатива cURL.
  • Goutte — Простой веб-скрапер.
  • PHP Spider — Настраиваемый и расширяемый веб-сканер на PHP.

Фреймворки для веб-скрапинга

  • Crawler — (crwlr) — библиотека для быстрой разработки (веб)краулеров и парсеров
  • Roach — Полный набор инструментов для веб-скрапинга на PHP. Поддерживает адаптер для Laravel и Symfony

Парсинг HTML/XML

  • HTML5 PHP — Парсер и сериализатор HTML5 для PHP.
  • QueryPath — это PHP-библиотека для работы с XML и HTML. Она предназначена для работы не только с локальными файлами, но и с веб-сервисами и ресурсами баз данных.
  • DiDOM -сверхбыстрый HTML-парсер (поскольку он был создан на основе обычного PHP).
  • PHPScraper — это универсальная веб-утилита для PHP.
  • DomCrawler — (Symfony) — Компонент DomCrawler упрощает навигацию по DOM в HTML- и XML-документах.

Обработка текста

Библиотеки для анализа и обработки обычных текстов.

  • Главные
    • ANSI to HTML5 — Библиотека для преобразования ANSI в HTML5.
    • Patchwork UTF-8 — Портативная библиотека для работы со строками в кодировке UTF-8.
    • Hoa String — Ещё одна библиотека строк в кодировке UTF-8.
    • Stringy — Библиотека для работы со строками с поддержкой многобайтовых символов.
    • Color Jizz — Библиотека для управления цветами и их преобразования.
    • Text — Библиотека для работы с текстом.
    • Flux — Библиотека для создания регулярных выражений.
  • Транслитерация
    • Urlify — A PHP port of Django’s URLify.js.
    • Slugify — A library to convert strings to slugs.
  • User-agent
    • CrawlerDetect — CrawlerDetect — это PHP-класс для обнаружения ботов/краулеров/пауков по пользовательскому агенту и заголовку http_from.
    • PHPUserAgent — Простой и оптимизированный парсер пользовательских агентов на PHP!
    • AgentZero — Библиотека для быстрого извлечения информации из строк User-Agent.
    • Device Detector — Ещё одна библиотека для анализа строк пользовательских агентов.
    • Mobile-Detect — Лёгкий PHP-класс для определения мобильных устройств (включая планшеты).
    • UA Parser — Библиотека для анализа строк пользовательских агентов.
  • Единицы измерения
    • ByteUnits — Библиотека для анализа, форматирования и преобразования байтовых единиц в двоичной и метрической системах.
    • PHP Units of Measure — Библиотека для преобразования единиц измерения.
    • PHP Conversion — Ещё одна библиотека для преобразования единиц измерения.
  • Телефонные номера
    • LibPhoneNumber for PHP — PHP-реализация библиотеки Google для обработки телефонных номеров.

Обработка в определенных форматах

Библиотеки для анализа и обработки определённых текстовых форматов.

  • CSV
    • CSV — Библиотека для работы с данными в формате CSV.
  • Office
    • PHPWord — Библиотека для работы с документами Microsoft Word.
    • PHPExcel — Библиотека для работы с документами Microsoft Excel.
    • PHPPowerPoint — Библиотека для работы с документами Microsoft PowerPoint.
    • ExcelAnt — Библиотека для работы с документами Microsoft Excel.
  • Markdown
    • PHP Markdown — Парсер Markdown.
    • CommonMark PHP — Парсер Markdown, поддерживающий полную спецификацию CommonMark.
    • Parsedown — Еще один синтаксический анализатор Markdown.
    • Ciconia — Ещё один парсер Markdown, поддерживающий Markdown в стиле Github.
    • Cebe Markdown — Быстрый и расширяемый парсер Markdown.
  • BBCode
    • Decoda — Простой лексический анализатор строк для разметки в стиле BBCode.
  • JSON
    • JsonMapper — Библиотека, которая сопоставляет вложенные структуры JSON с классами PHP.
  • vCard
    • vobject — Библиотека VObject позволяет легко анализировать объекты iCalendar и vCard и управлять ими
  • File Type Detection
    • Hoa Mime — Еще одна библиотека обнаружения MIME.
    • Canal — Библиотека для определения типов интернет-медиа.
    • Apache MIME Types — Библиотека, которая анализирует MIME-типы Apache.
  • GeoJSON
    • GeoJSON — Реализация GeoJSON.

Обработка естественного языка

Библиотеки для работы с человеческими языками.

  • PHP NlpTools — Набор инструментов для обработки естественного языка на PHP
  • nlpTools — Набор инструментов для обработки естественного языка на PHP

Автоматизация и эмуляция браузера

  • php-webdriver — PHP-клиент для веб-драйвера.
  • PHP PhantomJS — Выполнение команд PhantomJS через PHP
  • Mink — универсальный API для нескольких эмуляторов браузера (selenium, zombie.js, goutte)

Multiprocessing

  • Spork — Библиотека для разветвления процессов.

Asynchronous

Библиотеки для асинхронного сетевого программирования.

  • React — Библиотека неблокирующего ввода-вывода, управляемая событиями.
  • Rx.PHP — Реактивная библиотека расширений..
  • Hoa EventSource — Библиотека источников событий.
  • Evenement — Библиотека диспетчеризации событий.
  • Event — Библиотека событий с упором на доменные события.
  • Broadway — Источник событий и библиотека CQRS.

Очереди

  • Pheanstalk — Клиентская библиотека Beanstalkd.
  • PHP AMQP — Чистая PHP-библиотека AMQP.
  • Thumper — Библиотека шаблонов RabbitMQ.
  • Bernard — Библиотека мультисерверной абстракции.

Email

Библиотеки для чтения электронной почты.

  • Email Reply Parser — Библиотека для парсинга ответов на электронные письма.
  • Email Validator — Небольшая библиотека для проверки адресов электронной почты.

Манипулирование URL-адресами

Библиотеки для парсинга URL-адресов.

  • Purl — Библиотека для манипулирования URL-адресами.
  • PHP Domain Parser — Библиотека для анализа суффиксов доменов.
  • Uri (The PHP League) — Простая библиотека для работы с URL (совместима с PSR-7).
  • Url (crwlr) — Этот пакет предназначен для тех случаев, когда функции parse_url() в PHP недостаточно.

Извлечение веб-контента

  • Текст и метаданные из веб-документов
    • Essence — Библиотека для извлечения веб-медиа.
    • Embera — Библиотека для потребителей Oembed.
    • Embed — Потрясающая библиотека для получения полезной информации с веб-страниц.
  • Видео
    • Youtube-Downloader — PHP-скрипт для скачивания видео с YouTube, а также для преобразования ленты YouTube в RSS-каналы для подкастеров

WebSocket

Библиотеки для работы с WebSocket.

  • Ratchet — Библиотека веб-сокетов.
  • Hoa WebSocket — Библиотека веб-сокетов.
  • Elephant.io — Ещё одна библиотека для веб-сокетов.

Разрешение DNS

  • Net_DNS2 — Встроенный PHP-преобразователь DNS и средство обновления

Компьютерное зрение

Геокодирование

Библиотеки для назначения географических идентификаторов объектам карты и записям данных.

  • GeoCoder — Библиотека для геокодирования.
  • GeoTools — Библиотека инструментов, связанных с географией.
  • PhpYandexGeo — PHP реализация API для работы с сервисом Яндекс.Геокодирование

Другие списки PHP

Добавить комментарий

© 2026 Admin Day
Этот сайт использует cookie для хранения данных. Продолжая использовать сайт, Вы даете свое согласие на работу с этими файлами.