Формирование результатов тестов на ходу, по мере выполнения тестов

[artbear]

Существует проблема

Сейчас результаты тестирования получаются только после прохождения всех тестов.

Если на каком-то из тестов 1С зависнет (например, на модальном окне) или упадет или будет завершено по таймауту на CI-сервере, тогда результаты тестов не будут получены.

Хотелось бы иметь следующую функциональность

• Формировать результаты тестов после прохождения группы тестов (из одной обработки)
• Формировать allure
• Формировать junit
  • Формировать уникальное имя junit-файла аналогично аллюр-формированию

Дополнительный контекст
Любая дополнительная информация

[Infactum]

Если мы хотим именно записывать отчета на диск по ходу выполнения тестов, то надо понимать, что это рационально не для любого вида отчета.

Допустим, у нас есть один большой XML файл (пусть тот же монолитный вариант JUnit) - добавить в него новый узел не такая тривиальная задача, потому что для этого надо читать файл целиком и искать нужный узел.
А вот если мы пишем результаты в виде стандартного лога, то можно легко дописать в конец файла.

В общем и целом, имхо, текущее API плагинов - генераторов отчетов не получится легко
адаптировать под потоковый вывод без потери обратной совместимости. Поэтому предлагаю добавить новый вид плагинов именно для потоковой генерации отчетов.

API потоковых генераторов могло бы обрабатывать следующие типы событий:

• Начало выполнения теста
• Получение результата теста для его вывода (или, например, кэширования, если мы не хотим делать вывод каждый раз).
• Завершение выполнения тестов (можно скинуть кэш на диск, или таким образом реализовать аналог монолитного вывода, когда все собранные данные собираются в один файл-результат).

К сожалению ввод нового типа плагина потянет за собой добавление новой опции пакетного запуска, для указания параметров таких генераторов. А это, в свою очередь, изменения в vrunner.

Хотелось бы получить фидбэк по этому подходу.

[Infactum]

Добавил WIP PR, показывающий, как сейчас реализовать потоковый вывод отчета Allure через плагин утилиту.

[artbear]

выполнено

[artbear]

@Infactum огромное спасибо!