yawik / simpleimport Goto Github PK

cbleek@php7:~$ git clone https://github.com/yawik/SimpleImport.git
cbleek@php7:~$ cd SimpleImport/
cbleek@php7:~/SimpleImport$ git checkout upgrade-geocoder
cbleek@php7:~/SimpleImport$ composer install

cbleek@php7:~/SimpleImport$ vendor/bin/yawik simpleimport import
======================================================================
   The application has thrown an exception!
======================================================================
 Error
 Class 'Geocoder\Provider\GoogleMaps' not found
---------------------------------------------------------------------

{
   "jobs": [
       "id": 1,
       "title": "<h1>Title</h1><script>alert('Title-XSS');</script>",
       "location": "<h1>Location</h1><script>alert('Location-XSS');</script>",
       "link": "http://www.example.com/job/1"
       }
   ]
}

2019-01-17T17:06:03+01:00 ERR (3): Cannot fetch HTML digest for a job, import ID: "32", link: "example.com/3", reason: "Unable to fetch remote data, reason: "Read timed out after 5 seconds""
2019-01-17T17:10:08+01:00 ERR (3): Cannot fetch HTML digest for a job, import ID: "9", link: "example.com/1", reason: "Invalid HTTP status: "404""
2019-01-18T13:17:27+01:00 ERR (3): Cannot fetch HTML digest for a job, import ID: "7763de2bd66926f8fc8b49d384628896", link: "example.com/2", reason: "Unable to fetch remote data, reason: "Unable to enable crypto on TCP connection example.com: make sure the "sslcafile" or "sslcapath" option are properly set for the environment.""

cbleek@php7-cb:~/AtomProjects/SimpleImport$ git checkout a659f99053181f3c2a8e3dbc37b8d8da0c5a779c
Note: checking out 'a659f99053181f3c2a8e3dbc37b8d8da0c5a779c'.

You are in 'detached HEAD' state. You can look around, make experimental
changes and commit them, and you can discard any commits you make in this
state without impacting any branches by performing another checkout.

If you want to create a new branch to retain commits you create, you may
do so (now or later) by using -b with the checkout command again. Example:

  git checkout -b <new-branch-name>

HEAD is now at a659f99 Optional shuffle the Publish date on import
cbleek@php7-cb:~/AtomProjects/SimpleImport$ ./vendor/bin/phpunit 
PHPUnit 8.5.2 by Sebastian Bergmann and contributors.

...............................................................  63 / 181 ( 34%)
.............................F................................. 126 / 181 ( 69%)
..EE...................................................         181 / 181 (100%)

Time: 1.12 seconds, Memory: 28.00 MB

There were 2 errors:

1) SimpleImportTest\Hydrator\JobHydratorTest::testHydrate
ArgumentCountError: Too few arguments to function SimpleImport\Hydrator\JobHydrator::__construct(), 2 passed in /home/cbleek/AtomProjects/SimpleImport/test/SimpleImportTest/Hydrator/JobHydratorTest.php on line 59 and exactly 3 expected

/home/cbleek/AtomProjects/SimpleImport/src/Hydrator/JobHydrator.php:43
/home/cbleek/AtomProjects/SimpleImport/test/SimpleImportTest/Hydrator/JobHydratorTest.php:59

2) SimpleImportTest\Hydrator\JobHydratorTest::testHydrateInvalidObjectPassed
ArgumentCountError: Too few arguments to function SimpleImport\Hydrator\JobHydrator::__construct(), 2 passed in /home/cbleek/AtomProjects/SimpleImport/test/SimpleImportTest/Hydrator/JobHydratorTest.php on line 59 and exactly 3 expected

/home/cbleek/AtomProjects/SimpleImport/src/Hydrator/JobHydrator.php:43
/home/cbleek/AtomProjects/SimpleImport/test/SimpleImportTest/Hydrator/JobHydratorTest.php:59

--

There was 1 failure:

1) SimpleImportTest\Factory\CrawlerProcessor\JobProcessorFactoryTest::testInvoke
Psr\Container\ContainerInterface::get('FilterManager') was not expected to be called more than 3 times.

/home/cbleek/AtomProjects/SimpleImport/src/Factory/CrawlerProcessor/JobProcessorFactory.php:41
/home/cbleek/AtomProjects/SimpleImport/test/SimpleImportTest/Factory/CrawlerProcessor/JobProcessorFactoryTest.php:64

ERRORS!
Tests: 181, Assertions: 392, Errors: 2, Failures: 1.

   ` "html":"Menu Shop Inspiration Sprüngli Welt Standorte Kontakt Suche Suche Suche Reset My Sprüngli My Sprüngli Mein Konto Anmelden oder Registrieren Passwort Anmelden Passwort vergessen? Registrieren 0 0 Warenkorb ist leer Sie haben keine Artikel im Warenkorb. Weiter einkaufen DE Schließen Sortiment Chlausgeschenke Weihnachtsgeschenke Luxemburgerli ® Pralinés & Truffes Naschprodukte Tafelschokoladen Geschenkpakete & Arrangements Cakes & Torten Pâtisserie & Dessert Sandwiches & Gebäck Salate & Birchermüesli Apéro Canapé Glace Saisonal Osterhasen Ostereier Ostergeschenke Valentinstag Muttertagsgeschenke Aktuelles Saisonales Angebot Petits Plaisirs-Collection Shop entdecken Apéro Business-Lunch Chlaus Cuba Firmengeschenke Geburtstag Geburt & Taufe Hochzeit Luxemburgerli Muttertag Neuheiten Ostern Schokolade aus Bergheumilch Valentinstag Weihnachten Inspiration entdecken Treueprogramm Petits Plaisirs Aktuelles Broschüren Firmenkunden Geschichte Medien Partnerschaft mit Art Museums of Switzerland Handwerkskunst Individualisierung Kaffeekultur/Gastronomie Stellen bei Sprüngli Sprüngli-Klassiker Verantwortung Zutaten & Herkunft Sprüngli Welt entdecken Search My Sprüngli Settings Shop Sortiment Chlausgeschenke Weihnachtsgeschenke Luxemburgerli ® Pralinés & Truffes Naschprodukte Tafelschokoladen Geschenkpakete & Arrangements Cakes & Torten Pâtisserie & Dessert Sandwiches & Gebäck Salate & Birchermüesli Apéro Canapé Glace Saisonal Osterhasen Ostereier Ostergeschenke Valentinstag Muttertagsgeschenke Aktuelles Saisonales Angebot Petits Plaisirs-Collection Inspiration Chlaus Luxemburgerli Apéro Business-Lunch Cuba Firmengeschenke Geburtstag Geburt & Taufe Hochzeit Muttertag Neuheiten Ostern Schokolade aus Bergheumilch Valentinstag Weihnachten Sprüngli Welt Treueprogramm Petits Plaisirs Aktuelles Broschüren Firmenkunden Geschichte Medien Partnerschaft mit Art Museums of Switzerland Handwerkskunst Individualisierung Kaffeekultur/Gastronomie Stellen bei Sprüngli Sprüngli-Klassiker Verantwortung Zutaten & Herkunft Standorte Kontakt Home ... ... Sprüngli WeltStellen bei SprüngliUnsere StellenangeboteDetailhandelsfachfrauShopInspirationSprüngli WeltStandorteKontaktDetailhandelsfachfrau80-100%, Zürich Flughafen Arbeiten bei Sprüngli Das 1836 gegründete Schweizer Familienunternehmen zählt heute mit seinem erlesenen Sortiment zu den renommiertesten Confiserien Europas. Die Produkte aus dem Hause Sprüngli stehen für beste Qualität, einmalige Frische und Natürlichkeit. Die vollendeten Kreationen bringen täglich Kundinnen und Kunden aus aller Welt ins Schwärmen. Zur Verstärkung des Teams unserer Filiale im Airside Center am Flughafen Zürich suchen wir eine engagierte und begeisterte Detailhandelsfachfrau 80-100% mit Ausstrahlung für den Verkauf unserer liebevoll hergestellten Köstlichkeiten. Sie bringen mit:abgeschlossene Ausbildung als Detailhandelsfachfrau EFZ und/oder Verkaufserfahrung im Detailhandel (vorzugsweise Confiserie- oder Lebensmittelbranche)hohe Dienstleistungsbereitschaft und Freude an internationaler Kundschaftgepflegtes Erscheinungsbild und gute Umgangsformengute mündliche Englischkenntnisse, weitere Fremdsprachen von Vorteilhohe Flexibilität bezüglich Arbeitszeiten (Schichteinsätze zwischen 5.30 und 22.30 Uhr sowie 2 bis 3 Wochenend-Einsätze pro Monat)Wir bieten Ihnen eine abwechslungsreiche Tätigkeit in einem gepflegten Umfeld, interessante Entwicklungsmöglichkeiten und attraktive Anstellungsbedingungen. Sind Sie interessiert? Dann freuen wir uns über Ihre elektronische Bewerbung [email protected]. Online Bewerben Einstellungen Deutsch / CHF GutscheinJetzt einlösen NewsletterHier anmelden Haben Sie Fragen? Sie erreichen uns Mo. - Fr. von 8.00 Uhr - 12.00 Uhr und 13.00 Uhr - 17.00 Uhr unter +41 44 224 46 46. Kostenloser Versand schweizweit ab CHF 60.-Kauf auf Rechnung ab CHF 75.-Gratis GrusskarteInternationaler VersandSicheres Zahlen mit SSLAbholung in einer FilialeKäufer- und Datenschutz Sprüngli OnlineshopShopInspirationSprüngli-WeltStandorteKontaktÃœber UnsAktuellesOffene StellenBroschürenFirmenkundenOnlineshopLieferbedingungenZahlungsbedingungenRückgaberechtHilfe & FAQMein KontoÃœbersichtAdressbuchBestellungen Facebook Google+ © 2017 Confiserie Sprüngli AGBahnhofstrasse 21, 8001 Zürich, Schweiz AGBAGB TreueprogrammImpressumKontaktAlle Preise inkl. MwSt. Schließen Einstellungen Bitte wählen Sie hier Ihre bevorzugte Sprache und Währung. Deutsch Englisch Französisch EUR CHF USD Speichern Newsletter Zum Newsletter anmelden HerrFrau Vorname Nachname email Speichern '; $(error_message).hide().appendTo($(this).closest('div')).fadeIn(1000); } } else { if($(this).closest('div').hasClass('has-error') && !$(this).closest('div').hasClass('email-error')) { removeError($(this)); } if($(this).hasClass('validate-email')) { if(!emailValidation($(this).val())) { form_error = true; if(!$(this).closest('div').hasClass('email-error')) { $(this).addClass('validation-failed'); $(this).closest('div').addClass('has-error').addClass('email-error'); var error_message = 'Bitte geben Sie eine gültige E-Mail Adresse ein. Zum Beispiel [email protected].'; $(error_message).hide().appendTo($(this).closest('div')).fadeIn(1000); } } else { if($(this).closest('div').hasClass('email-error')) { removeError($(this)); } } } } }); function removeError(element) { $(element).removeClass('validation-failed'); $(element).closest('div').removeClass('has-error').removeClass('email-error'); $(element).closest('div').find('.validation-advice').fadeOut(1000).remove(); } function emailValidation(email) { var pattern = /^([a-z\\d!#$%&'*+\\-\\/=?^_`{|}~\\u00A0-\\uD7FF\\uF900-\\uFDCF\\uFDF0-\\uFFEF]+(\\.[a-z\\d!#$%&'*+\\-\\/=?^_`{|}~\\u00A0-\\uD7FF\\uF900-\\uFDCF\\uFDF0-\\uFFEF]+)*|\"((([ \\t]*\\r\\n)?[ \\t]+)?([\\x01-\\x08\\x0b\\x0c\\x0e-\\x1f\\x7f\\x21\\x23-\\x5b\\x5d-\\x7e\\u00A0-\\uD7FF\\uF900-\\uFDCF\\uFDF0-\\uFFEF]|\\\\[\\x01-\\x09\\x0b\\x0c\\x0d-\\x7f\\u00A0-\\uD7FF\\uF900-\\uFDCF\\uFDF0-\\uFFEF]))*(([ \\t]*\\r\\n)?[ \\t]+)?\")@(([a-z\\d\\u00A0-\\uD7FF\\uF900-\\uFDCF\\uFDF0-\\uFFEF]|[a-z\\d\\u00A0-\\uD7FF\\uF900-\\uFDCF\\uFDF0-\\uFFEF][a-z\\d\\-._~\\u00A0-\\uD7FF\\uF900-\\uFDCF\\uFDF0-\\uFFEF]*[a-z\\d\\u00A0-\\uD7FF\\uF900-\\uFDCF\\uFDF0-\\uFFEF])\\.)+([a-z\\u00A0-\\uD7FF\\uF900-\\uFDCF\\uFDF0-\\uFFEF]|[a-z\\u00A0-\\uD7FF\\uF900-\\uFDCF\\uFDF0-\\uFFEF][a-z\\d\\-._~\\u00A0-\\uD7FF\\uF900-\\uFDCF\\uFDF0-\\uFFEF]*[a-z\\u00A0-\\uD7FF\\uF900-\\uFDCF\\uFDF0-\\uFFEF])\\.?$/i; return pattern.test(email); } if(form_error) { return false; } $('.icon-close-s-white:first').click(); var url = form.attr('action'); if ( !url ) return; $.ajax({ url : url, method : 'POST', data : form.serializeArray() }).done(function(data){ if (data.length){ var buttonSet = $('.ajaxpro-buttons-set:first'); if ( buttonSet.length ) { buttonSet.remove(); } var fakeMessage = '' + '' + 'Schließen' + '' + '' + '' + '' + '' + '' + 'Sie wurden erfolgreich für den Newsletter angemeldet' + '' + '' + '' + ''; if ( $('#ajaxpro-notice-form-typo').length ) { $('#ajaxpro-notice-form-typo').remove(); } $(body).append($(fakeMessage).center()); } }); }); })(jQuery) } } //]]>"}]`

{
      "templateValues": {
        "benefits": "<p>Content</p>",
        "requirements": "<p>Content</p>",
        "tasks": "<p>Content</p>",
        "description": "Companyname with Description"
      },
      "company": "Companyname",
      "location": "Germany",
      "title": "Jobtitle",
      "classifications": {
        "employmentTypes": "Vollzeit"
      },
      "link": "https://example.com/1351.html",
      "id": "1351"
    },

cbleek@php7-cb:~/SimpleImport$ composer db.init                  
> mongorestore --drop                                                                                                                                                               
...
cbleek@php7-cb:~/SimpleImport$ vendor/bin/yawik simpleimport info

moemax.................................. (5d0a2213403d4b050b219412)
reifen.................................. (5d19e95a403d4b0b8a06dea2)

cbleek@php7-cb:~/SimpleImport$ vendor/bin/yawik simpleimport import --name=reifen
The crawler with the name (ID) "reifen (5d19e95a403d4b0b8a06dea2)" has started its job:
                     [>                                                                                                                                      ]   0%             ======================================================================
   The application has thrown an exception!
======================================================================
 TypeError
 Argument 1 passed to Geocoder\Query\GeocodeQuery::create() must be of the type string, null given, called in /home/cbleek/SimpleImport/src/Job/GeocodeLocation.php on line 77
----------------------------------------------------------------------
/home/cbleek/SimpleImport/vendor/willdurand/geocoder/Query/GeocodeQuery.php:68
#0 /home/cbleek/SimpleImport/src/Job/GeocodeLocation.php(77): Geocoder\Query\GeocodeQuery::create(NULL)
#1 /home/cbleek/SimpleImport/src/Hydrator/JobHydrator.php(85): SimpleImport\Job\GeocodeLocation->getLocations(NULL)
#2 /home/cbleek/SimpleImport/src/CrawlerProcessor/JobProcessor.php(236): SimpleImport\Hydrator\JobHydrator->hydrate(Array, Object(Jobs\Entity\Job))
#3 /home/cbleek/SimpleImport/src/CrawlerProcessor/JobProcessor.php(117): SimpleImport\CrawlerProcessor\JobProcessor->syncChanges(Object(SimpleImport\Entity\Crawler), Object(SimpleImport\CrawlerProcessor\Result), Object(Zend\Log\Logger))
#4 /home/cbleek/SimpleImport/src/Controller/ConsoleController.php(132): SimpleImport\CrawlerProcessor\JobProcessor->execute(Object(SimpleImport\Entity\Crawler), Object(SimpleImport\CrawlerProcessor\Result), Object(Zend\Log\Logger))
#5 /home/cbleek/SimpleImport/vendor/zendframework/zend-mvc/src/Controller/AbstractActionController.php(78): SimpleImport\Controller\ConsoleController->importAction()
#6 /home/cbleek/SimpleImport/vendor/zendframework/zend-eventmanager/src/EventManager.php(322): Zend\Mvc\Controller\AbstractActionController->onDispatch(Object(Zend\Mvc\MvcEvent))
#7 /home/cbleek/SimpleImport/vendor/zendframework/zend-eventmanager/src/EventManager.php(179): Zend\EventManager\EventManager->triggerListeners(Object(Zend\Mvc\MvcEvent), Object(Closure))
#8 /home/cbleek/SimpleImport/vendor/zendframework/zend-mvc/src/Controller/AbstractController.php(106): Zend\EventManager\EventManager->triggerEventUntil(Object(Closure), Object(Zend\Mvc\MvcEvent))
#9 /home/cbleek/SimpleImport/vendor/zendframework/zend-mvc-console/src/Controller/AbstractConsoleController.php(56): Zend\Mvc\Controller\AbstractController->dispatch(Object(Zend\Console\Request), Object(Zend\Console\Response))
#10 /home/cbleek/SimpleImport/vendor/zendframework/zend-mvc/src/DispatchListener.php(138): Zend\Mvc\Console\Controller\AbstractConsoleController->dispatch(Object(Zend\Console\Request), Object(Zend\Console\Response))
#11 /home/cbleek/SimpleImport/vendor/zendframework/zend-eventmanager/src/EventManager.php(322): Zend\Mvc\DispatchListener->onDispatch(Object(Zend\Mvc\MvcEvent))
#12 /home/cbleek/SimpleImport/vendor/zendframework/zend-eventmanager/src/EventManager.php(179): Zend\EventManager\EventManager->triggerListeners(Object(Zend\Mvc\MvcEvent), Object(Closure))
#13 /home/cbleek/SimpleImport/vendor/zendframework/zend-mvc/src/Application.php(332): Zend\EventManager\EventManager->triggerEventUntil(Object(Closure), Object(Zend\Mvc\MvcEvent))
#14 /home/cbleek/SimpleImport/vendor/yawik/core/bin/yawik(27): Zend\Mvc\Application->run()
#15 {main}
======================================================================
   Previous Exception(s):