StopgameParser

StopgameParser - это многопоточный, асинхронный парсер сайта Stopgame

Данный парсер сохраняет полученные данные в формате CSV, что позволяет в дальнейшем удобно их обрабатывать

Парсинг доступен для следующих страниц:

1. Игры
2. Блоги
3. Новости

• Игры сохраняются в формате Название,Рейтинг
• Блоги в формате Рейтинг,Заголовок,Ссылка
• Новости в формате Заголовок,Ссылка

Каждому итоговому файлу присваивается имя в виде unix время_страница

Например 1699604877_n.csv - где цифры - время, n - раздел новости

Время работы

Время работы парсера зависит в первую очередь от вашего интернет-соединения. При хорошей скорости (100Мб/c) парсинг игр занимает около 25-30 минут (869 страниц + запросы на каждую страницу конкретной игры).

Время парсинга блогов и новостей примерно одинаковое и составляет 10-15 минут (более 2000 страниц)

Установка

Для установки последовательно выполните следующие команды:

git clone https:/DyadyaMops/StopgameParser.git
cd StopgameParser.git
pip install -r reqs.txt
python main.py

При запуске появится меню. Просто введите цифру, соответствующую нужной опции