-
Notifications
You must be signed in to change notification settings - Fork 0
/
Copy pathREADME.txt
119 lines (102 loc) · 14.7 KB
/
README.txt
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
kant/ -- пакет для парсинга, хранения, синхронизации и выгрузки данных карточек описания товаров для маркетплейсов с
сайта www.kant.ru категории товаров 'беговая обувь' 4 оффлайн магазинов в г. Москва. Каждая позиция товара хранит
описание (общую характеристику товара), стоимость и наличие всех размеров этой позиции в каждом магазине.
В settings.BRANDS_URLS находятся ссылки для парсинга продуктов. Методом Main.update_products_table() с помощью
BRANDS_URLS формируется базовый каркас описания каждого товара в таблицу 'products'. Дальнейшая работа проверки
ценообразования и актуальность остатков размеров каждой модели, а также обновлению этих параметров, начинается с запроса
таблицы 'products'. Основные графы работы: 'code'-- уникальный код (id) товара, 'url'-- прямая
ссылок на карточку каждого товара из этой таблицы. По найденной прямой ссылке 'url' открывается полная карточка товара.
Main.update_prices_table() выгружает каждую новую измененную стоимость товара в таблицу 'prices', не затирая предыдущее
значение стоимости, а повышая значение колонки 'рейтинг' этого товара (этого кода товара). Таким образом, актуальная
стоимость находится в строке с максимальным рейтингом, среди всех строк стоимостей конкретного товара.
'Рейтинг': значение уровня обновления и доступности товара.
Изначально, значение в settings.RATING: 1. При этом значении в таблице 'products' находятся только товары в наличии.
Это же значения записывается, как начальное в таблицах 'prices' и во всех 'instock_...'- таблицах.
Значение 0 для товаров, которых уже нет в наличии (если было обычное состояние: 1).
Значение > 1 устанавливается для товаров в таблицах 'prices' и 'instock_nagornaya',у которых либо обновилась стоимость,
либо обновился остаток по конкретному товару конкретного размера. Соответственно, строка с актуальной стоимостью и
состоянием склада (смена количества штук по каждому размеру товара на складе), всегда имеет максимальный рейтинг у
данного товара.
В таблице 'products' графа 'rating' изменяется между значениями: 1 и 0, перезаписывая эти значения, не создавая
новые строки.
В таблицах 'prices' и всех 'instock_...' таблицах, 'rating' изменяется от 1 и далее +1, каждый раз создавая
новые строки с обновленным (увеличенным на 1) рейтингом нового состояния продукта, в зависимости от ситуации по
актуальному наличию конкретного остатка размера продукта, даже если конкретный размер выбыл со склада полностью (в
таком случае, в базу данных записывается строка с размером, количеством 0 шт, и все же увеличенным рейтингом +1, как
самый актуальный).
'main.py'-- точка входа проекта.
С помощью этого модуля при пустой базе данных 'db.sqlite3' создаются записи в 'products', 'prices',
'instock_...'- таблицах. Если данные уже внесены, последующий запуск manager(True, True, True) обновит данные
при непустых соответствующих таблицах.
Таблица 'products': Общая карточка товара, его наименование, описание, характеристика товара, дата внесения этой
информации и текущий рейтинг, информирующий об актуальности нахождения товара в наличии и в продаже на момент
последнего запуска программы (описание рейтинга см выше, параграф 'Рейтинг').
Таблица формируется за счет запуска метода Main.update_products_table()
В проекте реальзована функция частичной загрузки и частичной проверки данных по конкретному бренду, не затрагивая
консистентность данных остальной части базы данных, что является удобным для поддержания, изменения, дополнения и
тестирования проекта на этапе разработки (см далее параграф 'Main.brand')
Метод Main.update_products_table() сначала парсит главные ссылки общей группы товаров (либо/ и ссылки на товары
конкретных брендов этой же категории (подробнее settings.BRANDS_URLS)), для получения индивидуальной ссылки на каждый
товар путем внутреннего вызова Parser.parse_main()
Параметры: urls-- список ссылок на товары, для нахождения прямых ссылок на каждый конкретный товар;
finish-- максимальное число листания пагинатора, от 1 до 25стр, обычно хватает. При дублировании данных,
парсер понимает прием ссылок- дублей, отключается, не используя следующие страницы пагинации в связи с
нецелесообразностью дальнейшего парсинга, формируя уникальный список прямых ссылок на товар;
Вывод: список прямых ссылок на товар;
Затем, по каждой индивидуальной ссылке загружается карточка товара с описанием и дополнительными характеристиками
товара методом Parser.parse_details()
Параметры: urls-- список прямых ссылок на каждый конктретный товар.
Вывод: код товара, наименование и полная характеристика продукта, время создания, рейтинг (см выше, 'рейтинг').
При каждом последующем запуске update_products_table(), добавляется новый товар, либо ничего не меняется, если нового
нет, либо изменяется только рейтинг, с 1 на 0 (для выбывших товаров), с 0 на 1, у отсутствуещего товара, если товар
снова стал в наличии, не изменяя количество записей, в целом.
Метод Main.update_prices_table() испульзуя 'url' каждого товара из 'products', парсит карточку товара, смотрит
только стоимость. Если стоимость обновилась, в таблицу 'prices' записывается новая строка с кодом товара, стоимостью,
временем обновления и новым рейтингом (старый рейт+ 1). Актуальная стоимость товара всегда доступна в строке по коду
товара с максимальным рейтингом. Если товара нет в наличии, стоимость меняется на 0 руб, рейтинг все так же
увеличивается. Внутри используется Parser.parse_price()
Параметры: codes_urls-- список пар кодов и ссылок для парсинга;
Вывод: типа codes_prices-- пары код + стоимость, т.е те же коды, но уже с их стоимостью товара;
Метод Main.update_instock_table() загружает из ссылки в settings.AVAILABLE код товара из 'products', парсит небольшой
(по объему DOM) html, находит, сравнивает количество товара в наличии по каждому размеру. Если наличие изменилось
(появился новый размер, по бывшему размеру увеличилось/ уменьшилось количество товара, либо данный размер полностью
выбыл из магазина), в эту рабочую таблицу 'instock_...' записывается новое состояние размера товара: код товара,
его размер, количество товара в этом размере, время обновления и рейтинг, увеличенным на 1 (см ранее, 'Рейтинг').
Каждая новая запись увеличивает значение рейтинга.
Внутри используется Parser.parse_available()
Параметры: codes-- пары кодов и уникальных кодов с их же url для парсинга размеров и наличия;
Вывод: список состояния наличия: код, размер, наличие по нему, время обновления, рейтинг;
Метод Main.export() выгружает карточки описания товаров в популярные форматы (json, xml, csv) для API маркетплейсов и
товароучетных сервисов.
Параметры: to-- способ сериализации данных: json, xml или csv. По умолчанию-- 'csv'
Вывод: в файл с именем 'card' в выбранном формате параметра 'to'
'Main.brand' -- обертка property для тестирования и дополнения новой функциональности за счет работы не со всей базой
данных, а только с ее частью (определенного бренда), не затрагивая функциональность и консистентность данных
остальной части БД.
Название бренда можно задавать при инициализации, например:
page = Main('Adidas') или page = Main(brand='Adidas')
Также можно определить бренд позднее, уже в атрибуте класса, перед вызовом методов обновления таблиц:
page = Main()
page.brand = 'Adidas'
В отличие от page = Main() без присвоения классу атрибута- бренда, когда программа работает со всей бд, проверяя и
синхронизируя всю базу, вызов с присвоением бренда page = Main('Adidas') работает с таблицами только этого бренда.
'Main.manager()' -- Настроенная точка входа, которую можно запускать из командной строки с параметрами, к примеру:
(env) laptop:kant user$ ./main.py products
Вызов запустит проверку синхронизации www.kant.ru с таблицей 'products' базы данных. Рекомендуется запускать
1 раз в день, проверка наличия и отсутствия товара.
(env) laptop:kant user$ ./main.py prices
-- запускает проверку, синхронизируя kant.ru с таблицей 'prices';
рекомендуется запускать 1- 2 раза день для обновления и актуализации стоимости товара (обновление сайта kant.ru
происходит обычно в 10:00 или в 12:00, UTC +3 (Moscow))
(env) laptop:kant user$ ./main.py instock
-- запускает проверку наличия каждого размера каждого товара, синхронизирует kant.ru с таблицами
'instock_nagornaya', 'instock_timiryazevskaya', 'instock_altufevo', 'instock_teply_stan';
рекомендуемая частота обновления: 2- 4 раза в день.
(env) laptop:kant user$ ./main.py export json
-- выгружает карточку товаров с характеристикой и стоимостью в формат "csv". Дополнительно, в форматы "xml"
и "json" выгружается размерный ряд и наличие товара по каждому оффлайн- магазину в Москве. Экспортируется в файл
с именем 'card' и расширением, соответствующим формату экспорта.
Путь к файлам указан в settings.py: JSON_FILE, CSV_FILE, XML_FILE
Формат по умолчанию: 'csv'. Для экспорта в 'csv' достаточно команды: ./main.py export
* Актуальная версия доступна в 'main' git- ветке проекта.
* Info: dkmarchuk@gmail.com