Этот скрипт на Python разработан для сбора данных с веб-сайта. Он использует различные библиотеки и методики для извлечения информации с конкретного сайта и сохранения ее в CSV-файл.
- Асинхронно получает ссылки на продукты из разных категорий на веб-сайте.
- Парсит детали продуктов, включая название, цену, описание и изображения.
- Сохраняет собранные данные в CSV-файле.
Перед использованием этого скрипта убедитесь, что у вас установлены следующие предварительные требования:
- Python
- Необходимые библиотеки Python (установите с помощью
pip install -r requirements.txt):- httpx
- requests
- beautifulsoup4
- pandas
- fake_useragent
- Клонируйте этот репозиторий на свой локальный компьютер.
git clone https://github.com/VadimPoliakov/Async-parser.git
- Установите необходимые библиотеки Python с помощью pip.
pip install -r requirements.txt
-
Отредактируйте скрипт по мере необходимости под вашу конкретную задачу.
-
Запустите скрипт:
python main.py
Скрипт начнет сбор данных с указанного веб-сайта и сохранит их в CSV-файл с именем "art.csv" в той же папке.
-
Этот скрипт использует асинхронное программирование для повышения производительности. Вы можете настроить уровень параллелизма, изменив код.
-
Обязательно соблюдайте условия использования и политику скрапинга веб-сайта при использовании этого скрипта.