Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Передача нескольких токенов для больших выгрузок #66

Open
HadronCollider opened this issue Dec 15, 2024 · 2 comments

Comments

@HadronCollider
Copy link
Collaborator

При выгрузке большого количества репо - одного токена недостаточно (а много 403 ошибок при ожидании восстановления обрываются гитхабом "слишком много 403") - приходится велосипедить несколько запусков с разными токенами и последующее объедение результатов

Идея: передавать несколько токенов в аргументе, при возникновении 403 ошибки брать следующий токен, запоминать количество использований/последнее время ошибки израсходованного лимита

@thehighestmath
Copy link
Collaborator

А нам точно нужно для статы гитхаб репо звать гитхаб апи?
Почему бы не выкачать репо и не распарсить его?
Вот я такую штуку писал на го
therealyou-main-gitfame.zip
Может это не супер то, что надо, но как план Б рассмотреть можно

@HadronCollider, что Вы думаете?

@HadronCollider
Copy link
Collaborator Author

А нам точно нужно для статы гитхаб репо звать гитхаб апи? Почему бы не выкачать репо и не распарсить его? Вот я такую штуку писал на го therealyou-main-gitfame.zip Может это не супер то, что надо, но как план Б рассмотреть можно

@HadronCollider, что Вы думаете?

Я тоже когда-то смотрел ещё в сторону локального скачивания и git log (особенно когда хотел собирать статистику по коммитам, а не сами коммиты), но у нас здесь сплошной githubapi + в части дисциплин подвязываемся к github-логину (который github автоматом определяет по user.email) и дальше не пошел 🙈🙈🙈

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

2 participants