QA-инженер (AI / Automation)

8 октября 2026 г.

Гибрид

Lead

hh.ru

Описание

Ищется специалист по контролю качества AI-решений банка: проверка моделей и AI-агентов на соответствие бизнес-, техническим и регуляторным требованиям. Роль гибридная — совмещает тестирование AI-систем и разбор отдельных частей проектов на уровне системного аналитика. Работа идёт с ключевыми процессами банка, с разработчиками и стейкхолдерами под руководством наставника; в фокусе — LLM, AI-агенты, мониторинг данных и моделей, red-team и QA-инструменты.

Обязанности

Участвовать в разработке и поддержке стандартов тестирования LLM и AI-агентов
Помогать строить pipeline оценки LLM-систем: LLM-as-judge, детекция галлюцинаций и PII-утечек, контроль формата ответов
Готовить заключения о готовности проекта к промышленной эксплуатации под руководством наставника
Участвовать во внедрении мониторинга искажения данных и моделей, готовить документацию (Model Card)
Проводить red-team и adversarial-тестирование AI-агентов и AI-based систем
Настраивать регрессионное тестирование промптов и пайплайнов при обновлении моделей
Участвовать в проектировании архитектуры end-to-end AI-пайплайнов и QA-инструментов с точки зрения тестируемости
Участвовать в технической экспертизе моделей при согласовании с риск-подразделением

Требования

Базовое понимание тестирования и обеспечения качества AI/ML-решений: LLM, AI-агенты, пайплайны
Понимание специфики QA для LLM: оценка качества генерации, галлюцинации, PII-утечки, контроль формата
Базовые навыки системного анализа: разобрать проект на части и описать требования
Знакомство с red-team и adversarial-тестированием
Понимание принципов мониторинга данных и моделей
Готовность работать с регуляторными и риск-требованиями
Желание учиться и развиваться в направлении QA AI-проектов
Знание Python, SQL, CI/CD, Pytest и web-автоматизации

Условия

Гибридный формат работы
Работа под руководством наставника

Устройство не соответствует требованиям сайта

Что может не работать

QA-инженер (AI / Automation)

Сводка по вакансии

Описание

Обязанности

Требования

Условия

Похожие вакансии

Сводка по вакансии

Похожие вакансии

QA-инженер (AI / Automation)

Сводка по вакансииАнализ и саммари по описаниюОбычная [data-chart=chart-_R_39f1binpfiv6abqaqlb_] { --color-score: var(--warning); } .dark [data-chart=chart-_R_39f1binpfiv6abqaqlb_] { --color-score: var(--warning); } 47

Сводка по вакансии

Описание

Обязанности

Требования

Условия

Похожие вакансии

Сводка по вакансииАнализ и саммари по описаниюОбычная [data-chart=chart-_R_39f1binpfiv6abqaqlb_] { --color-score: var(--warning); } .dark [data-chart=chart-_R_39f1binpfiv6abqaqlb_] { --color-score: var(--warning); } 47

Сводка по вакансии

Похожие вакансии