Структура на линейната регресия

x - Матрица с feature променливите, w - Матрица с коефициентите, b - отклонение
Структура с коефициенти
Loss function, фунцкия калкулираща грешката на предсказания, от алгоритъма, резултат от реалния (За едно поле от тренировъчните данни)

Minimum squared error
Optimizer function - Gradient descent, оптимизираща функция
Fit function, функция която тренира алгоритъма върху въведените данни
Predict function, функция която взима коефициентите и връща предсказания резултат спрямо въведените данни на базата на тренираните коефициенти

Ресурси

Support Vector Regression

Имплементиране на регресия с помощен вектор(SVR)

Структура на SVR

Структура с коефициенти и указатели към методите на алгоритъма
Loss function, фунцкия калкулираща грешката на предсказания, от алгоритъма, резултат от реалния (За едно поле от тренировъчните данни)
Optimizer function - Gradient descent, оптимизираща функция
Fit function, функция която тренира алгоритъма върху въведените данни
Predict function, функция която взима коефициентите и връща предсказания резултат спрямо въведените данни на базата на тренираните коефициенти

Ресурси

Parse-ване на числа от клетки за данни

Нужно е библиотеката да може да превръща низовете, заредени в DataFrame, в числа.

Така предлагам да работи:

Типове данни

Трябва да поддържа следните типове

double
~~int/long long~~ не съм сигурен дали е нужно

Псевдокод на интерфейса

Ако имаме DataFrame:

DataFrame df = ...;
// df.data[0][0].type == DATA_CELL_STR
//     => е валидно да се прочете стойността на низа:
df.as_str;
//        и е невалидно да се достъпват:
df.as_double; // (примерно)

Можем да преобразуваме цяла колона в double:

df_col_to_double(&df, /* колона: */ 0);
// вече:
df.data[0][0].type == DATA_CELL_DOUBLE;
// но все още:
df.data[0][1].type == DATA_CELL_STR;
// и вече е валидно:
df.data[0][0].as_double;
// и .as_str е недефинирано

Или можем да преобразуваме цялата DataFrame таблица:

df_all_to_double(&df);

Ако някой низ не е валидно число:

df.data[0][0] = "invalid";
df_col_to_double(&df, 0);
// тогава то става not a number:
df.data[0][0].type == DATA_CELL_NAN;
// достъпването на всичко .as_* е невалидно

Ако при преобразуването срещнем клетка, чийто тип не е DATA_CELL_STR, я игнорираме
- Ако решим, че поддържаме int, в този случай ще правим преобразование от int -> double, или обратно.

Бележка: DATA_CELL_NAN означава, че символният низ не е бил валидно число. Не е същото като NaN стойността на double типа. Възможно е DataCell.type == DATA_CELL_DOUBLE и as_double да има NaN стойност.

Начин на преобразование от низ в `double`

Става със стандартната strtod(). Това означава, че приема същите формати, които приема тя; тоест можем да преобразуваме шестнайсетични числа, ако те имат представка 0x, безкрайност и NaN стойност. Можем да включим допълнителни проверки, ако решим, че не искаме да допускаме това.

Предложение: възможно е да прави строги или нестроги преобразования:

пример за строго преобразование:

"12" -> 12.0
"12 km" -> DATA_CELL_NAN

пример за нестрого преобразование:

"12" -> 12.0
"12 km" -> 12.0 (остатък: " km", игнориран)

изборът става с отделен параметър на функцията:

df_all_to_double(&df, DATA_CELL_CONVERT_STRICT); // строго
df_all_to_double(&df, DATA_CELL_CONVERT_LAX); // нестрого

ПС: Алтернативно представяне на `DATA_CELL_NAN` случая

Премахваме DATA_CELL_NAN. Ако има низ, който не може да бъде преобразуван в число - строго или нестрого (в зависимост от параметъра), тогава DataCell.type става DATA_CELL_DOUBLE и стойността на .as_double приема NaN стойност, която в последствие може да бъде проверена от isnan().

Въпроси

Всичките ли описани функционалности са необходими за първи release на библиотеката?
- Кои от тях не са необходими?
- Пропускам ли нещо, което е?
Нужно ли е да поддържаме целочислени типове?
- От една страна, ни усложняват, но от друга, може да са необходими понякога
Добра идея ли е да поддържаме преобразование на "INFINITY" / "NAN" / "0x..." в double?
- Ако го забраняваме, би ни усложнило.
double или long double?
Необходимо ли е да продължаваме да съхраняваме стойността на низа след като сме го преобразували в число?
Добри ли са предложените имена за функции?
- Кое е по-добре за имената на константите: DATA_CELL_*, или DC_* (пр. DC_STR, DC_CONVERT_LAX)

Decision trees

Имплементиране на Decision tree модел за класификация

Структура на модела

Структура на Decision tree модела
Структура на отделния възел от дървото
Псевдо код:

struct Node {
    size_t feature_index; // Индексът на feature-а който се проверява от възела
    double threshold;     // Стойността спрямо която възела проверява съответния feature
    struct Node *left, *right; 
    size_t class_prediction; // Класът който се връща ако възела е листо на дървото
};

Loss function, пресмятa IG(information gain)-а при сплит-а
Изваждаме сумата на ентропията на по-долните възли от ентропията на корена

Формула за пресмятане на ентропията за отделния node
Функция за оценяване на потенциалните разклонения на дървото
Функция за обхождане на дървото
Fit function
Predict function

Ресурси

Logistic Regression

Имплементиране на методите и функциите за логистична регресия

Структура на логистичната регресия

Структура с коефициенти и указатели към методите на алгоритъма
Сигмоидна функция приемаща за вход резултат от линейна регресия

Сигмоидна функция

Енкапсулирана линейна регресия(В случая множествена линейна регресия)
Loss function, фунцкия калкулираща грешката на предсказания, от алгоритъма, резултат от реалния (За едно поле от тренировъчните данни)

->
Cost function, функция калкулираща грешката на модела върху целите тренировъчни данни
Optimizer function - Gradient descent, оптимизираща функция

Gradient descent, very scary math
Fit function, функция която тренира алгоритъма върху въведените данни
Predict function, функция която взима коефициентите и връща предсказания резултат спрямо въведените данни на базата на тренираните коефициенти