clanghout / health-informatics-3 Goto Github PK

LSA handelt kolommen nog niet af zoals hij dat hoort te doen.
In de tests gaat dit goed, wil graag zien hoe dit in een tabel eruit ziet om volgende stappen te ondernemen

Omdat Cobertura en parboiled allebei vage dingen doen met classloaders enzo, falen de LanguageParser tests op de mvn site.

Er moet een manier komen op datums en tijden to combineren naar een datetime en een datetime naar een time of date.

de wizard moet gebruikt kunnen worden om de xml-file te maken.
Bij het inlezen moeten de columns al automatisch in de column window worden gezet. Verder willen we een deel van de file kunnen zien. Bij de colummen willen we een waarde voor die columns zien, en bij start en and line willen we het begin en eind kunnen zien.

Het sorteren in de LSA wordt nu gedaan door een functie in de LSA. Hiervoor komt een globale functie in de datatable om te sorteren, zodra deze dus bestaat moet de functie in de LSA vervangen worden door deze globale functie.

bij het inlezen van een grote excel file wordt te veel memory gebruikt. komt door dat de workbook in een keer de hele excel file inlezen. Nog geen oplossing gevonden

Because LanguageParser is a special class, implemented in a sort of declarative manner instead of the typical imperative Java style, the code style heavily deviates from the CheckStyle config.

Also because LanguageParser is wrapped by parboiled in a rather fancy manner, findBugs is also excluded, because it doesn't actually find bugs in LanguageParser, even when it thinks it does.

Er moet worden gespecificeerd wat het type van de column is:
Int, float, boolean, string, date, time, datetime.
Bij date, time en datetime moet kunnen worden aangegeven hoe het is opgeslagen. Format, unix timestap, excel timestamp (weet niet de naam daarvan).
Mogelijkheid om een extra column met de filenaam of opgegeven value toe te voegen, moet alle types kunnen zijn.

De CombinedDataTable is niet een echte join operatie, dus daar hebben we een oplossing voor nodig.

Inlezen en wegschrijven van een analyse file

column = string werkt niet

Ik kreeg in #172 comment om de datafiles relatief aan het xml bestand in te laden. Is dit wel echt nodig? Want hiervoor moeten de datafiles altijd in een submap staan van de xml en de wizard mag de xml alleen in de supermap van de datafiles opslaan. Met een absolute path kunnen files op de hele filesystem worden gekozen. En portability is ook niet een vereiste van ons programma dacht ik.

De pom die we nu hebben faalt met de maven plugin voor eclipse:
bij de tags: "Plugin excecution not covered by lifecycle configuration: ...."

is het mogelijk dat dit werkt: 2.3 > 2

Omdat Octopull super mooi is en de Authentication errors ook, gaan we hier bijhouden wie er het meeste tegelijkertijd heeft.

Soms refereren we in onze taal naar een tabel die op dat moment nog niet bestaat.

We hebben hier meerdere mogelijke oplossingen voor:

• Identifiers meegeven aan de processen en die de tabellen uit de model laten pakken
• Een soort van FutureTable aanmaken die dat zelf doet
• Processen een voor een parsen

De eerste optie werkt waarschijnlijk niet goed met de DataDescribers, omdat die geen model meekregen (kan natuurlijk gefixt worden).

De tweede optie lijkt me prima te doen.

De derde optie is weer naar, omdat je dan met parsen niet gelijk een foutmelding krijgt, als er iets niet klopt. (Tenzij we meerdere keren parsen, kan ook gewoon.)

MacroType wordt zo langzamerhand veel te groot. Als ik tijd over heb, moet ik daar code voor gaan refactoren. Al mag iemand anders het natuurlijk ook doen.

wat moet er gebeuren als een functie over rijen een null value tegenkomt? negeren?

using the duplication tool in PMD

analyse parser moet alle analyses kunnen omzetten:
Lag Sequential
Time between
Constraints
Computations
Group By
Functions
Set-operations: Join, Union, Difference
Column computation
Connection
Set code
From
Is
Sort

There's a system output somewhere in a test saying "test"
can't find it

Uitwerking voorbeelden en uitleg hoe onze taal moet worden gebruikt.
Verder ook voorbeelden rondom connection, comparison etc..

EventTest uitbreiden zodra het mogelijk is om constraints op datums uit te voeren.

PMD vindt het niet leuk dat equals() in de dataValue overridden wordt terwijl hashcode() in de subValues (boolvalue, datevalue, etc) wordt overridden. Hierdoor denkt hij dat ze niet beiden overridden worden en gooit hij maximaal errors.

Dit mag genegeerd worden, want het werkt.

Dit is een plek waar het wel mag.

het resizen van columns werkt raar. Disable of fixen

Stel je maakt een builder waarmee je 2 aparte tables wilt maken, moet je opletten anders maak je 2 keer dezelfde table.

bijvoorbeeld:
initialiseer builder
maak rows aan
maak table
maak extra rows
maak table

dit retourneert twee dezelfde tables, terwijl je dus twee tables wilt waarvan de tweede een extensie is van de eerste.

na het aanmaken van de eerste table opnieuw de builder initialiseren en de eerste rows opnieuw aanmaken is een work-around

Jens:
1: specificeer hoe de dataum en tijd moet worden weggescheven (excel timestamp, unix timestamp, fomat bijvoorbeeld dd-yy-mm)
2: mogelijkheid om geen naam op te geven maar uitsluitend de table name te gebruiken
3: mogelijkheid om null values als null of NULL weg te schrijven

extra:
1: Maak van tabel selector een lijst waar doorheen gescrollt kan worden.

Als er een date is met alleen een jaar en maand kan java time het niet parsen naar een localdate. Dus 0995 (september 1995) kan nog niet worden geparst met MMyy.