nromanen / ch-044 Goto Github PK

Розібратись як працює Update/Delete для ElasticSearch зробити приклад.

Якщо товар видалено, то треба маркнути його як видалений в БД.

Це має бути таск який перевірятиме існуючі товари в якійсь категорії в нашій БД з списком товарів в магазині.

Зробити сторінку, яка відображатиме список товарів для кожної категорії.

(тільки список. нічого більше)

Знайти бібліотеку, яка шукатиме проксі сервери і робитиме всі запити через проксі щоб попередити блокування нашого ресурсу.

http://www.codeproject.com/Articles/1072864/Tor-NET-A-managed-Tor-network-library

(ProxyPoolGet)

На одну критерію парсер повнен мати можливість брати декілька ікспаісів. Якщо при виконанні попереднього виникла помилка чи нічого не розпарсилось, то виконувати наступний. Їхній порядок можна міняти.

Написати парсер однієї категорії якогось інтернет магазину.

1. Поправити верстку категорій відповідоно до Мішиних коментарів.
2. Потрібно мати можливість впорядковувати категорії.

Підключити, протестувати і налаштувати Log4Net.

На кожен день має створюватись окремий файл з логами.
Час у файлі повинен зберігатись в UTC.

Написати парсер однієї категорії якогось інтернет магазину.

Додати можливість бачити як розпарсився таск.

Дістати XPATH з iframe і передати в батьківську сторінку.

Зробити сторінку, на якій можна налаштовувати дерево категорій.

Додавання, редагування, видалення, зміна батьківської.
Для роботи з деревом можна пошукати якусь jQuery бібліотеку.

Треба поправити мапінг Category на CategoryDTO.

Знайти можливість завантажити любу URL сторінку і її CSS, JS, і т.д. ресурси. Та відкривати завантажену сторінку в iframe

1. Зробити сторінку логін
2. Зробити сторінку логаут
3. Зробити сторінку реєстрації нового користувача.
4. Додати ролі адміністратора і користувача
5. Зробити сторінку, на якій адміністратор може змінити роль усім іншим користувачам.
6. Додати переверку на роль усім існуючим контролерам

(http://metanit.com/sharp/mvc5/12.20.php)

Створення динамічної таблиці для категорії.

Підключити AutoMapper і налаштувати його.

В коді додати пару закоментованих прикладів мапінга.

Можливі варіанти:

• PhantomJS
• WebKit .NET
• Selenium
• GhostDriver
• .NET WebBrowser

Бажано щоб була МІТ ліцензія.

Додати до нашого солюшина новий проект SiteProcessor.
В ньому має бути клас який:

• отримуватиме url і path
• завантажуватиме сторінку через headless browser і тор
• зберігатимег html в заданий path

Зробити історію цін.

Таблиця: ід запису, ід товару, назву товару, ціна товару, дата.

Таски в чергу повинна додавати окрема програма аналогічно до виконання.

Зробити можливість створювати структури даних.

Цілі числа / дробові числа / грошові / дати / стрічки / енами.

Написати парсер однієї категорії якогось інтернет магазину.

Якщо хоч десь винекне помилка і для неї не існуватиме обробника, то треба щоб сайт її обробив.

Тобто користувач не побачив "страшну" помилку з логами ерора, а щоб користувачу відобразилась "гарна" сторінка з якимось повідомленням. (сталась помилка, спробуйте зайти пізніше.....)

Зробити сторінку, на якій можна налаштувати парсер.

Кожен таск повинен мати дату останньої зміни.

Коли парсер отримує завдання з черги він повинен перевірити дату таска у завданні і дату таска в його контексті. Якщо у контексті старіша версія, то підгрузити новішу версію таска з БД.

Потрібно мати можливість створити нове завдання.
Завдання повинно мати назву і бути прикріплене до якоїсь категорії і магазину
Завдання повинно мати пріоритет.
Завдання повинно мати статус (активне/призупинене)
Завдання може бути "вічним", або мати термін дії.

Зробити на сайті авторизацію використовуючи C# Owin Identity.

Спробуват змітини юзер агент стрічку для тора.
Зробити щоб він при кожному запиті рандомно підставляв юзер анегт віж хрома чи фаєрфокса.
Це повинно пофіксати проблему з капчою на сайтах.

На основному сайті має бути перемикач мов (українська / російська / англійська)

Вибрану мову зберігати в Cookies.

Зараз парсер може витягнути тільки текст.
Треба додати можливість витягувати URL посилання, кастомні атрибути і т.д.

Тобто біля кожного текстового поля з ікспасом повинен бути випадаючий список, в якому будуть варіанти: текст, посилання, кастомні атрибути....

Для початку тільки розібратись з Quartz.NET Scheduling Framework for .NET Platform
В понеділок розкажу що з ним робити треба буде.

Написати ітератор, який видасть усі посилання на товари.

На вхід він приматиме XPATH-си до сторінок з товарами і XPATH-си до наступних сторінок з списками. Якщо XPATH-си списків товарів не працюватимуть, то використовувати URL параметри.

Розібратись з SimpleInjector.

Додати до сайту. Налаштувати.

Назва, адреса, логотип.

Зробити можливість додавання критеріїв для кожної категорії.

Критерія складається з ід, назва, опис, тип, значення по замовчуванню, префікс, суфікс
Тип - стрічка, число ціле, число дробове, час, дата

Виконати завдання і зберегти у БД.

Зробити менеджер який може додавати таск до черги, витягувати таск з черги і виконувати таск.

Не дробити всю цю функціональність по різним частинам проекту так як це зроблено зараз.

Написати парсер однієї категорії якогось інтернет магазину.

Написати парсер однієї категорії якогось інтернет магазину.

Додати можливість авторизації через соціальні мережі.
Працювати на пряму з АРІ не обов"язково, можна використовувати uLogin або його аналоги.
Обов"язково додати "фейсбук", "гугл" і "контакт".

Зробити щось щоб не валідний html не був проблемою.
http://stackoverflow.com/questions/18396699/how-to-fix-html-tagswhich-is-missing-the-open-close-tags-with-htmlagilit

Акційні товари мають обмеження по часу. Треба додати можливість знати дату закінчення акційних товарів чи їх цін.