Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

[DEMO] Added support: MXNet, ONNX, OpenCV, PyTorch, TensorFlow, TVM #552

Merged
merged 15 commits into from
Oct 28, 2024

Conversation

Vladislav-Denisov
Copy link
Contributor

@Vladislav-Denisov Vladislav-Denisov commented Sep 26, 2024

Изменения:

  • Внесены общие изменения в логику запуска демо (для поддержки запуска различных фреймворков и переиспользования кода).

Фреймворки:

  • MXNet - добавлен в демо. Внесены правки в docker-файл для проверки работоспособности accuracy_checker.
  • ONNX - добавлен в демо. Внесены правки в docker-файл для проверки работоспособности accuracy_checker. А также непосредственно в обертку для запуска accuracy_checker в dl-benchmark.
  • OpenCV - добавлен в демо. Внесены правки в docker-файл для проверки работоспособности accuracy_checker.
  • TensorFlow - добавлен в демо на примере запуска для модели фреймворка TF2. Лаунчер для accuracy_check изменен.
  • PyTorch - добавлен в демо. Внесены правки в docker-файл для проверки работоспособности accuracy_checker.
  • TVM - добавлен в демо. Внесены правки в docker-файл для поддержки accuracy_checker с кастомной реализацией.

demo/linux.sh Show resolved Hide resolved
demo/linux.sh Outdated Show resolved Hide resolved
src/benchmark/executors.py Outdated Show resolved Hide resolved
@Vladislav-Denisov Vladislav-Denisov changed the title [DEMO] Added support: MXNet, ONNX, TensorFlow(?) [DEMO] Added support: MXNet, ONNX, TensorFlow, PyTorch Oct 10, 2024
@Vladislav-Denisov Vladislav-Denisov changed the title [DEMO] Added support: MXNet, ONNX, TensorFlow, PyTorch [DEMO] Added support: MXNet, ONNX, OpenCV, PyTorch, TensorFlow Oct 13, 2024
@Vladislav-Denisov Vladislav-Denisov changed the title [DEMO] Added support: MXNet, ONNX, OpenCV, PyTorch, TensorFlow [DEMO] Added support: MXNet, ONNX, OpenCV, PyTorch, TensorFlow, TVM Oct 16, 2024
@Vladislav-Denisov Vladislav-Denisov marked this pull request as ready for review October 16, 2024 15:10
<Task>classification</Task>
<Name>SampleNet</Name>
<Precision>FP32</Precision>
<SourceFramework>ONNXRuntime</SourceFramework>
Copy link
Contributor

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

Эта модель точно не сконвертирована из Caffe в ONNX?

Copy link
Contributor Author

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

Не знаю насколько это критично в рамках конфига для демо.
В офф репозитории https://github.com/openvinotoolkit/open_model_zoo/tree/master/tools/accuracy_checker/data/test_models для этих SampleNet'ов нет никакой README-шки.

Copy link
Contributor

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

Не критично, просто если она сконвертирована, то лучше писать исходный формат.

demo/benchmark_configs/TVM.xml Show resolved Hide resolved
src/accuracy_checker/process.py Show resolved Hide resolved
@Vladislav-Denisov
Copy link
Contributor Author

Vladislav-Denisov commented Oct 22, 2024

@valentina-kustikova на данный момент в этом PR есть всё необходимое для демо с использованием фреймворков, перечисленных в первом сообщении.
Исключение - TensorFlowLite - его надо посмотреть отдельно.
Думаю, можно мерджить.

<Task>classification</Task>
<Name>SampleNet</Name>
<Precision>FP32</Precision>
<SourceFramework>ONNXRuntime</SourceFramework>
Copy link
Contributor

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

Не критично, просто если она сконвертирована, то лучше писать исходный формат.

@valentina-kustikova
Copy link
Contributor

@ismukhin, посмотрите, пожалуйста.



WORKDIR /tmp/open_model_zoo/
RUN git remote add omz_custom_tvm https://github.com/a-sidorova/open_model_zoo.git && \
Copy link
Contributor

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

Мне кажется, ветку с accuracy_checker'ом для tvm нужно форкнуть в itlab-vision, чтобы в будущем не оказалось, что его больше нет :) (думаю, сделать и держать его у нас имеет смысл до момента включения tvm в мастер open_model_zoo)

Copy link
Contributor

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

Создала бранчу в open_model_zoo_tvm 😀 (коммиты поверх 2024.3 релиза).
https://github.com/itlab-vision/open_model_zoo_tvm/tree/24.3.0/tvm

Copy link
Contributor Author

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

@ismukhin заменил ссылку на репозиторий в cfc5469

@valentina-kustikova
Copy link
Contributor

@ismukhin, посмотрите, если все ок, то замержите, пожалуйста.

@ismukhin ismukhin merged commit 6a3fbb2 into itlab-vision:master Oct 28, 2024
5 checks passed
ismukhin added a commit that referenced this pull request Oct 28, 2024
На основе PR #552

## Изменения
Добавлен запуск демо-приложения для фреймворка TensorFlowLite.
Оформлено отдельным PR, чтобы не задерживать мердж PR #552 

## Доп информация
Изменения, которые внесены в докер-файл, связаны с тем, что при
конкретной указанной версии `onnx=1.10.2`

https://github.com/itlab-vision/dl-benchmark/blob/f8994ef4988abdd9df7c29063cdd8bdf2c9c9f07/docker/TensorFlowLite/Dockerfile#L20
не удается собрать образ. Возникает проблема:
```
Traceback (most recent call last):
        File "/usr/local/bin/cmake", line 5, in <module>
          from cmake import cmake
      ModuleNotFoundError: No module named 'cmake'
 ```
 Попытка установить cmake через pip проблему не решает. Похожая картина остается с apt install.
 
 Причем, на первый взгляд, без проблем работает та версия, которая устанавливается согласно https://github.com/itlab-vision/dl-benchmark/blob/f8994ef4988abdd9df7c29063cdd8bdf2c9c9f07/docker/TensorFlowLite/Dockerfile#L15
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

Successfully merging this pull request may close these issues.

4 participants