Senior QA-инженер (AI / Automation)

8 октября 2026 г.

Гибрид

Senior

hh.ru

Описание

Ищем специалиста, который возьмёт на себя контроль качества AI-решений: моделей, LLM-систем и AI-агентов. Роль гибридная — с одной стороны построение системы тестирования AI-решений, с другой — разбор отдельных частей проектов в качестве системного аналитика. От работы зависит надёжность и предсказуемость моделей, их соответствие бизнес-, техническим и регуляторным требованиям, а также развитие стандартов QA в направлении AI.

Обязанности

Разрабатывать и поддерживать стандарты тестирования LLM и AI-агентов, формировать требования QA к модельной политике банка
Строить pipeline оценки LLM-систем: LLM-as-judge, детекция галлюцинаций и PII-утечек, контроль формата ответов
Давать заключение о готовности проекта к промышленной эксплуатации
Внедрять мониторинг искажения данных и моделей, готовить документацию (Model Card)
Проводить red-team и adversarial-тестирование AI-агентов и AI-based систем
Настраивать регрессионное тестирование промптов и пайплайнов при обновлении моделей
Участвовать в проектировании архитектуры end-to-end AI-пайплайнов и QA-инструментов с точки зрения тестируемости
Участвовать в технической экспертизе моделей при согласовании с риск-подразделением

Требования

Опыт тестирования и обеспечения качества AI/ML-решений: LLM, AI-агенты, пайплайны
Понимание специфики QA для LLM: оценка качества генерации, галлюцинации, PII-утечки, контроль формата
Практический опыт построения pipeline оценки: LLM-as-judge, автоматические метрики, ручная экспертиза
Навыки системного анализа: умение разобрать проект на части, описать требования и предложить решения
Опыт red-team и adversarial-тестирования
Понимание принципов мониторинга данных и моделей
Готовность работать с регуляторными и риск-требованиями
Опыт менторства и проведения технических интервью
Python, SQL, CI/CD, Pytest, web-автоматизация

Условия

Гибридный формат работы
Прямое взаимодействие с разработчиками, стейкхолдерами и риск-подразделением
Работа с ключевыми процессами банка

Устройство не соответствует требованиям сайта

Что может не работать

Senior QA-инженер (AI / Automation)

Сводка по вакансии

Описание

Обязанности

Требования

Условия

Похожие вакансии

Сводка по вакансии

Похожие вакансии

Senior QA-инженер (AI / Automation)

Сводка по вакансииАнализ и саммари по описаниюХорошая [data-chart=chart-_R_39f1binpfiv6abqaqlb_] { --color-score: var(--warning); } .dark [data-chart=chart-_R_39f1binpfiv6abqaqlb_] { --color-score: var(--warning); } 60

Сводка по вакансии

Описание

Обязанности

Требования

Условия

Похожие вакансии

Сводка по вакансииАнализ и саммари по описаниюХорошая [data-chart=chart-_R_39f1binpfiv6abqaqlb_] { --color-score: var(--warning); } .dark [data-chart=chart-_R_39f1binpfiv6abqaqlb_] { --color-score: var(--warning); } 60

Сводка по вакансии

Похожие вакансии