RAGAS: набор метрик для RAG
Метрики, тестовый набор и интерпретация результатов: RAGAS: набор метрик для RAG. Материал связывает технические решения с измеримым качеством retrieval (поиск контекста), ответа и бизнес‑процесса.
Открыть материал →Раздел базы знаний
Оценка RAG
Метрики retrieval (поиска контекста) и generation (генерации), RAGAS, тестовые наборы и мониторинг.
A/B‑тест RAG‑конфигураций
Метрики, тестовый набор и интерпретация результатов: A/B‑тест RAG‑конфигураций. Материал связывает технические решения с измеримым качеством retrieval (поиск контекста), ответа и бизнес‑процесса.
Открыть материал →Answer relevance (релевантность ответа): отвечает ли система на вопрос
Метрики, тестовый набор и интерпретация результатов: Answer relevance (релевантность ответа): отвечает ли система на вопрос. Материал связывает технические решения с измеримым качеством retrieval (поиск контекста), ответа и бизнес‑процесса.
Открыть материал →Arize Phoenix для tracing и evaluation (оценка качества)
Метрики, тестовый набор и интерпретация результатов: Arize Phoenix для tracing и evaluation (оценка качества). Материал связывает технические решения с измеримым качеством retrieval (поиск контекста), ответа и бизнес‑процесса.
Открыть материал →Context precision в RAG
Метрики, тестовый набор и интерпретация результатов: Context precision в RAG. Материал связывает технические решения с измеримым качеством retrieval (поиск контекста), ответа и бизнес‑процесса.
Открыть материал →Context recall в RAG
Метрики, тестовый набор и интерпретация результатов: Context recall в RAG. Материал связывает технические решения с измеримым качеством retrieval (поиск контекста), ответа и бизнес‑процесса.
Открыть материал →DeepEval для тестов LLM и RAG
Метрики, тестовый набор и интерпретация результатов: DeepEval для тестов LLM и RAG. Материал связывает технические решения с измеримым качеством retrieval (поиск контекста), ответа и бизнес‑процесса.
Открыть материал →Faithfulness (соответствие источнику): подтверждён ли ответ контекстом
Метрики, тестовый набор и интерпретация результатов: Faithfulness (соответствие источнику): подтверждён ли ответ контекстом. Материал связывает технические решения с измеримым качеством retrieval (поиск контекста), ответа и бизнес‑процесса.
Открыть материал →Golden dataset и эталонные источники
Метрики, тестовый набор и интерпретация результатов: Golden dataset и эталонные источники. Материал связывает технические решения с измеримым качеством retrieval (поиск контекста), ответа и бизнес‑процесса.
Открыть материал →Hit rate и попадание нужного источника
Метрики, тестовый набор и интерпретация результатов: Hit rate и попадание нужного источника. Материал связывает технические решения с измеримым качеством retrieval (поиск контекста), ответа и бизнес‑процесса.
Открыть материал →Langfuse для наблюдаемости RAG
Метрики, тестовый набор и интерпретация результатов: Langfuse для наблюдаемости RAG. Материал связывает технические решения с измеримым качеством retrieval (поиск контекста), ответа и бизнес‑процесса.
Открыть материал →LangSmith для трассировки RAG
Метрики, тестовый набор и интерпретация результатов: LangSmith для трассировки RAG. Материал связывает технические решения с измеримым качеством retrieval (поиск контекста), ответа и бизнес‑процесса.
Открыть материал →LLM-as-a-judge для RAG: польза и риски
Метрики, тестовый набор и интерпретация результатов: LLM-as-a-judge для RAG: польза и риски. Материал связывает технические решения с измеримым качеством retrieval (поиск контекста), ответа и бизнес‑процесса.
Открыть материал →MRR: позиция первого релевантного фрагмента
Метрики, тестовый набор и интерпретация результатов: MRR: позиция первого релевантного фрагмента. Материал связывает технические решения с измеримым качеством retrieval (поиск контекста), ответа и бизнес‑процесса.
Открыть материал →nDCG для качества ранжирования
Метрики, тестовый набор и интерпретация результатов: nDCG для качества ранжирования. Материал связывает технические решения с измеримым качеством retrieval (поиск контекста), ответа и бизнес‑процесса.
Открыть материал →Offline и online evaluation (оценка качества) RAG
Метрики, тестовый набор и интерпретация результатов: Offline и online evaluation (оценка качества) RAG. Материал связывает технические решения с измеримым качеством retrieval (поиск контекста), ответа и бизнес‑процесса.
Открыть материал →Precision@k в RAG
Метрики, тестовый набор и интерпретация результатов: Precision@k в RAG. Материал связывает технические решения с измеримым качеством retrieval (поиск контекста), ответа и бизнес‑процесса.
Открыть материал →Recall@k для оценки retrieval (поиск контекста)
Метрики, тестовый набор и интерпретация результатов: Recall@k для оценки retrieval (поиск контекста). Материал связывает технические решения с измеримым качеством retrieval, ответа и бизнес‑процесса.
Открыть материал →TruLens для трассировки и оценки RAG
Метрики, тестовый набор и интерпретация результатов: TruLens для трассировки и оценки RAG. Материал связывает технические решения с измеримым качеством retrieval (поиск контекста), ответа и бизнес‑процесса.
Открыть материал →Бизнес‑метрики RAG: deflection, resolution и adoption
Метрики, тестовый набор и интерпретация результатов: Бизнес‑метрики RAG: deflection, resolution и adoption. Материал связывает технические решения с измеримым качеством retrieval (поиск контекста), ответа и бизнес‑процесса.
Открыть материал →Как оценивать RAG по слоям
Метрики, тестовый набор и интерпретация результатов: Как оценивать RAG по слоям. Материал связывает технические решения с измеримым качеством retrieval (поиск контекста), ответа и бизнес‑процесса.
Открыть материал →Как собрать тестовый набор вопросов для RAG
Метрики, тестовый набор и интерпретация результатов: Как собрать тестовый набор вопросов для RAG. Материал связывает технические решения с измеримым качеством retrieval (поиск контекста), ответа и бизнес‑процесса.
Открыть материал →Корректность и полнота цитат
Метрики, тестовый набор и интерпретация результатов: Корректность и полнота цитат. Материал связывает технические решения с измеримым качеством retrieval (поиск контекста), ответа и бизнес‑процесса.
Открыть материал →Мониторинг дрейфа корпуса и вопросов
Метрики, тестовый набор и интерпретация результатов: Мониторинг дрейфа корпуса и вопросов. Материал связывает технические решения с измеримым качеством retrieval (поиск контекста), ответа и бизнес‑процесса.
Открыть материал →Оценка RAG на русскоязычном корпусе
Метрики, тестовый набор и интерпретация результатов: Оценка RAG на русскоязычном корпусе. Материал связывает технические решения с измеримым качеством retrieval (поиск контекста), ответа и бизнес‑процесса.
Открыть материал →Разложение задержки RAG по этапам
Метрики, тестовый набор и интерпретация результатов: Разложение задержки RAG по этапам. Материал связывает технические решения с измеримым качеством retrieval (поиск контекста), ответа и бизнес‑процесса.
Открыть материал →Регрессионные тесты после изменения индекса
Метрики, тестовый набор и интерпретация результатов: Регрессионные тесты после изменения индекса. Материал связывает технические решения с измеримым качеством retrieval (поиск контекста), ответа и бизнес‑процесса.
Открыть материал →Синтетическая генерация вопросов для evaluation (оценка качества)
Метрики, тестовый набор и интерпретация результатов: Синтетическая генерация вопросов для evaluation (оценка качества). Материал связывает технические решения с измеримым качеством retrieval (поиск контекста), ответа и бизнес‑процесса.
Открыть материал →Стоимость подтверждённого ответа
Метрики, тестовый набор и интерпретация результатов: Стоимость подтверждённого ответа. Материал связывает технические решения с измеримым качеством retrieval (поиск контекста), ответа и бизнес‑процесса.
Открыть материал →Экспертная оценка ответов RAG
Метрики, тестовый набор и интерпретация результатов: Экспертная оценка ответов RAG. Материал связывает технические решения с измеримым качеством retrieval (поиск контекста), ответа и бизнес‑процесса.
Открыть материал →