seidchr / autotagger Goto Github PK

Datenbank: Qualität der ausgegebenen Tags erhöhen, evlt durch Nutzung einer anderen DB oder zumindest besseren Queries. meine vorstellungen:
https://github.com/Vittel/AutoTagger/blob/master/better-database.md

Oder iwo Crawer online gehostet und so, dass man man ihn über einen Link anschmeißen kann, dem man dann sagt, nach welchem Hashtag er suchen soll und von dort aus ca. 1000 Einträge crawlen. Dann kann man den Crawler nach einem Hashtag suchen lassen anschmeißen, kurz bevor man das Tool nutzt und weiß, dass man ein Foto mit einem bestimmen Themengebiet hochladen wird. Sonst ist ja evtl nichts drin in der DB zu diesem Thema. (Alternative/Optimalscenario wäre, dass der Crawler die ganze Zeit laufen müsste und ganz Instagram crawlt, jedoch Crawler und Crarifai Kapazitäten hier nicht ausreichend)

Tests: Die Aktuellen überarbeiten, Dependencies mocken als Unit u. Acceptance-Tests verpacken, DI überhaupt erstmal ordentlich bastlen

Moin, ist es möglich, dass du mir das repo überträgst? Würde mich sehr freuen :)
Das Problem beim Fork ist, dass wenn du das Repo löschst, ist meins auch weg..

Viele Grüße
Dario

PS: Ihr behaltet natürlich weiterhin eure Contributor-Rechte

Habe CrawlerV1 mal bisschen laufen lassen:

4:00 Std. lief Crawler (bis die DB ein 'Connect Timeout expired' zurückgab)
ca. 4.000 Requests
15.000 Fotos
330.000 nicht-unique iTags
40.000 unique iTags
durchschnittlich 3,6 Sek pro Requests
durchschnittlich 3,75 Fotos pro Request
durchschnittlich 22 iTags pro Foto

Habe ihn mit random Hashtags crawlen lassen. Er ist gefühlt durch alle Themen/Bereiche durch.
Lustig: Einiges an Arabischem und Chinesischem ist dabei.

(in VS im Debug Mode laufen lassen, dort ist der Crawler fühlbar langsamer - im Nicht-Debug oder compiled kriegt man wahrscheinlich bessere Performance raus)

Vorschlag Repo Renaming in InstaTagger oder InstagramTagger?
oder wenn "Auto" drin bleiben soll, auch InstaAutoTagger oder InstagramAutoTagger?

Hi,
Über ein einheitliches hosting sollten wir uns langfristig Gedanken machen.
Derzeit auf verschiedenen Systemen verteilt

Ich wollte vorschlagen die Arbeitsschritte aufzuteilen um etwas Performance bei den einzelnen Schritten zu gewinnen.

Ich stelle es mir so vor:

A. Wenn der Crawler ein Ergebnis hat:

1. Link oder File in eine Tabelle/Queue legen ohne etwas zu analysieren
2. Pullen und bei einem Link Bild herunterladen
3. Pullen und mit maschinellen Tags anreichern
4. Pullen und mit Instagram Daten anreichern
5. Bild mit allen Informationen in die Datenbank aufnehmen

B. Wenn ein Bild analysiert werden soll

1. Link oder File in eine Tabelle/Queue legen
2. Pullen und Bild herunterladen wenn Link
3. Pullen und mit maschinellen Tags anreichern
4. Pullen und Empfehlungen berechnen

Die GUI würde dann nicht blokiert werden in der Zeit und man könnte einen Status pro Bild anzeigen.

Der von mir gefactored'te CrawlerV1 ist feature-complete und crawlt die Userseiten. Crawling Logik von CrawlerV2 übernommen. Ich bitte um ein Code Review @tempel3 @Vittel :)

Huhu, hat einer Ahnung von Azure und kann mir helfen? Gerne im persönlichen Chat über xing, whatsapp, pornhub o.ä.

Hi,
ich hätte gerne wieder den UserInterface Service als REST API (ohne eigene Views).
Und das Frontend als separate Singlepage Application, welches die Rest API nutzt.
Frontend könnte man in Angular o.ä. basteln oder anfangs erstmal plain html.
Hosting müsste angepasst werden.

Moin @Vittel, FYI hatte dir bei Slack geschrieben