О создании обучающих выборок

Заметка подготовлена для более удобного обсуждения узкоспециальных тонкостей в ответ на вот это сообщение Алекса:

https://aftershock.news/?q=comment/12649466#comment-12649466

Исходим из предположения, что скрипт выборки текстов комментариев из базы уже есть и в базе для его работы имеется поле о статусе пользователя типа "забанен".
Что требуется делать дальше.
1. Самым базовым/фундаментальным требованием конкретно этого алгоритма математической статистики является необходимость сравнивать что-то одно с чем-то другим, вместо сравнения этого чего-то одного с чем-то неизвестным (неописанным в терминах этой маьематики). Совсем простыми словами - для любого критерия нужен хоть какой-нибудь противовес, иначе непонятно/невозможно вычислить численное значение меры похожести. Чуть сложнее - алгоритм хорошо работает в условиях закрытого множества решений, но плохо, если множество решений открытое (неограниченное, неизвестное).
Таким образом на самом первом этапе целесообразно предложить два следующих варианта, отличающихся вычислительной нагрузкой:
А) Вычисляется статистика 5-граммного распределения всех комментариев забаненных пользователей и такая же статистика для +-близкого количества (в штуках или символах) случайных комментариев незаблокированных пользователей. Не знаю порядки величин и язык скрипта, но на современных процессорах в Си++ и Питоне у меня ноутбук за единицы минут справляется с гигабайтными объемами кириллического текста. Важная оговорка - процесс прекрасно распараллеливается на любое доступное число ядер/потоков, так как получающиеся в результате первичного расчета матрицы можно поячеечно складывать. Недостаток варианта - слишком размытое, статистически малоэффективное/размытое представление обоих классов сообщений, так как в одну кучу будет свалено вообще всё - ковид, истерики, хохлы, набросы, возмущения, обиды, выяснения, разборки.
Б) На вкус любого человека выбираются несколько десятков наиболее характерных (об этом далее) сообщений забаненых пользователей, а в качестве противовеса им выбирается несколько случайных сообщений самого Алекса. Этот вариант предпочтительнее на первом этапе так как работать будет однозначно быстро, позволит оценивать производительность без расходования лишних ресурсов и в достаточной степени отладить саму математику в вашей реализации.
В) В базе пользовательских комментариев добавить следующие поля (это все-равно придется делать рано или поздно):
- причина блокировки, типа целочисленное, и вручную для нескольких десятков комментариев по каждой из причин проставить простые значения: 0 - нормальный комментарий, 10 - мат, 20 - оскорбления, 30 - повышенная эмоциональность(снова - об этом далее), 40 - ковид, 50 - хохлы. Или что-то похожее. Число в этом поле будет соответствовать номеру обучающей выборки, таким образом сразу формируются взаимные  противовесы для классов. Десятичные значения выбраны изначально про запас, так как по мере освоения инструмента вы однозначно захотите доуточнить типы в классах и уже появится понимание как именно это делать.
- поля значений, удобнее всего поле типа список(вектор, строка/столбец, текст с разделителями, как в вашем языке удобнее), в него будет записано столько же величин в штуках, сколько разных значений будет установлено на предыдущем шаге. Чтобы не плодить поля в самой базе - проще их как-нибудь объединить в понятном для движка СУБД виде, чтобы потом отрабатывать запросы. Эти величины и будут показывать степень статистического приближения этого комментария к выбранным ранее сообщениям. Если одно из значений больше суммы всех остальных - то это однозначное попадание, т.е. значения сортируем по величине и первое сравниваем с суммой всех остальных. Ну а далее на ваш выбор, два самых больших отличаются не больше 30% и тоже больше суммы всех остальных - тоже хороший признак, здесь неограниченное поле для отладки численных параметров.
2. Каковы признаки "истеричности", эффективно обрабатываемые и выявляемые этим классом статистических алгоритмов?
На первом этапе очень просто - это превосходные степени прилагательных и наречий. Лучший, самый, никогда, всегда. Любым поисковиком находятся необходимые примеры из школьных учебников русского языка и добавляются в отдельное сообщение с параметром 30 (из моего примера причин блокировки).
Всё то же самое и с остальными причинами, на асом первом этапе нас интересуют наиболее характерные слова или словоформы, которые неспециалист может выделить как наиболее характерные для этой причины блокировки.
Самому алгоритму на первом этапе более чем достаточно отдельных слов, целиком комментарии можно даже не обрабатывать.
Думаю тут должно быть уже понятно, но готов дополнительно поразжёвывать если требуется.
3. Можно запускать обработку первого этапа. У сообщений в базе появились какие-то значения, отлично.
Вторым шагом отладки обучающих выборок в нашем случае будет анализ результатов.
Наиболее простая оценка - это выборка из базы по несколько десятков сообщений с самыми большими и самыми малыми значениями по каждому из параметров причин блокировки. Вот уже что-то будет видно, в самых первых рядах окажутся сами наши обучающие сообщения (они максимально похожи сами на себя и минимально похожи на любые другие).
Но и это уже очень важно - к ним добавятся ещё какие-то новые сообщения, ранее отсутствовавшие в обучающей выборке этого типа причины блокировки.
Сравнивайте, похоже ли и соответствует ли это вашему восприятию достаточности такого комментария для блокировки.
Если считаете, что достаточно - то ставьте этим новым сообщениям такую же причину в соответствующее поле. Если нет - то любую другую.
Эти ваши действия принципиально важны, формально они называются дообучением, но на самом деле вы подстраиваете статистики и ваши весы начнут склоняться в нужную сторону либо больше, либо меньше. Т.е. сам алгоритм не изменяется, а вот исходные данные для него будут другими и это начнет влиять на результаты обработки.
4. По мере удовлетворённости результатами повторять корректировку обучающих выборок, подчищать базу когда некоторые сообщения портчт статистику и приводят к смешению классов причин блокировки, а-ля мущинку порвало про беспилотный ковид в окопах.
;)

Всех обнял, оппонирование приветствуется!