Выбираем LLM gateway

Сейчас очень популярны LLMки, поэтому почти всем они зачем-то нужны. Но чтобы использовать их внутри крупных и не очень организаций, нам надо контролировать что мы  в них отправляем, управлять стоимостью, а так же заниматься контролем безопасности данных.
Если использовать openai напрямую или даже openrouter, то эти проблемы решить мы не сможем. Вот тут на помощь нам спешит новоиспеченный «паттерн» llm gateway — нужно поставить шлюз к моделям в организации.
Решений много, поэтому проведу их сравнение, покажу лучшие решения, расскажу о том какие проблемы встанут на вашем пути (подмена чуствительных данных, надежность и не только) и предложу решения для них.