От автора: в этом уроке мы с вами продолжим работу с библиотекой phpQuery, которая значительно упрощает парсинг сайтов. Ранее мы использовали функцию file_get_contents для получения контента по запрошенному адресу. В этом уроке мы начнем знакомиться с библиотекой cURL, которая гораздо более продвинута в плане получения удаленного контента.
Из урока вы узнаете, как работать с библиотекой cURL для получения контента удаленного сайта. Узнаете, как получить отдельно заголовки сайта и отдельно его контент, как записать контент в файл или переменную, или же просто вывести на экран.
В результате урока мы напишем отдельную функцию, которая будет получать и возвращать контент средствами библиотеки cURL и используем написанную функцию в нашей функции parser().
Бесплатный курс по PHP программированию
Освойте курс и узнайте, как создать динамичный сайт на PHP и MySQL с полного нуля, используя модель MVC
В курсе 39 уроков | 15 часов видео | исходники для каждого урока
Получить курс сейчас!
Разработка веб-приложения на PHP
Создайте веб-приложение на PHP на примере приема платежей на сайте
Смотреть
А как записать в файл, все что мы получили при помощи phpQuery?
У меня получается только всю страницу записать
Функциея file_put_contents, к примеру, позволяет писать в файл. Если у Вас записывается вся страница, значит Вы и записываете всю страницу. Записывать надо только то, что нужно.
Так же хотелось бы увидеть:
1. Поддержка проксей;
2. Поддержка авторизации;
3. Мультипоточность..
Поддерживаю предложение! А так же добавлю:
…
4. Парсинг с инициализацией скриптов типа fancybox и подобных..
Здравствуйте! Огромное спасибо за видео.
Скажите, пожалуйста, имеется ли возможность с помощью CURL авторизоваться на youtube и парсить контент с закрытой страницы.
Или надо использовать какую-то другую библиотеку? Спасибо
Здравствуйте. Да, теоретически должно работать.