Что он измеряет
Тест оценивает пассивный словарный запас — сколько немецких слов вы понимаете, — и
переводит это число в привычные уровни A1, A2, B1, B2. Он не проверяет грамматику,
произношение или умение говорить: только лексику. Но лексика — фундамент: человек, знающий
2500 самых частых слов, понимает около 90% обычного текста или разговора; знающий 650 —
с трудом разбирает простые фразы.
Эта связь измерена напрямую. Ван Зеланд и Шмитт (2013) давали слушателям одни и те же устные
рассказы, в которых доля знакомых слов была искусственно доведена до 100, 98, 95 и 90%.
Понимание падало вместе с покрытием, но интереснее другое: на 90% результаты расползались
от 3 до 10 баллов из 10 — кого-то каждое десятое незнакомое слово почти не сбивает, а кого-то
обрушивает полностью. Отсюда практический ориентир: уверенно понимать живую речь вы начинаете
примерно с 95% знакомых слов. Проценты измерены на английском, но сама форма кривой — резкая
отдача первых тысяч и пологий хвост — одинакова для любого языка, немецкого в том числе.
Откуда берутся уровни
Все 4500 слов колоды упорядочены по частоте употребления в живом немецком
(подробнее о колоде). Первые ~650 слов — это словарь A1,
первые ~1300 — A2, первые ~2500 — B1, все 4500 — B2. Границы взяты по объёму лексических
списков Goethe-Institut для соответствующих экзаменов и округлены.
Тест оценивает, сколько слов из 4500 вы знаете, и относит вас к уровню, если вы знаете
не меньше 90% его объёма. Плюс показывает, какая часть следующего уровня уже освоена:
«A2, освоено 40% лексики B1» — точнее, чем просто «A2».
Зачем он в тренажёре
Здесь у теста есть прикладная задача: не начинать тренировку с самого первого слова колоды,
если первая тысяча вам давно знакома. По результату тренажёр предлагает, сколько слов
пропустить, — а вы двигаете ползунок и решаете сами. Слова, которые в тесте не вспомнились,
в тренировке остаются, даже если попадают в пропущенный диапазон.
Как проходить
- Не подглядывайте в словарь — вы проверяете себя, а не словарь.
- Не угадывайте. В вариантах с выбором и вводом перевода есть «не знаю» — это честнее
случайного ответа и точнее для результата.
- В варианте «помню / не помню» «помню» означает «могу сказать, что это слово значит».
После «помню» карточка переворачивается и показывает перевод, а вы отвечаете, так ли вы и думали.
Если слово кажется знакомым, но значение не приходит, это «не уверен»: такой ответ в результат
не засчитывается. Пример со словом спрятан за кнопкой «подсказка».
- В этом же варианте часть слов выдумана (примерно каждое четвёртое или пятое). Тест предупредит
об этом перед началом. По реакции на такие слова он понимает, насколько вы склонны отмечать
«помню» на автомате, и корректирует итог. Это стандартный приём и в тестах словарного запаса,
и в исследованиях: выдуманные слова подставляют именно затем, чтобы увидеть, сколько «знаю»
человек ставит авансом.
- Нажали не ту кнопку? Кнопка «← назад» отменяет последний ответ — можно вернуться
на несколько шагов.
- Тест можно проходить повторно: слова каждый раз выбираются заново.
Насколько точно
Это тест на 25–180 слов, а не экзамен. Погрешность — примерно ±100 слов на уровне A1
и ±250–300 слов на B1–B2, поэтому на границе уровней результат может колебаться на ступень
в обе стороны. Если два варианта дали разное — правда посередине. Выше B2 тест различать
не может: колода заканчивается на 4500 словах, и «B2+» означает «словарь колоды освоен».
Как устроен расчёт
Помню / не помню: по 24 слова из каждого уровня (на границе — 36) плюс 34 выдуманных и по 3 при каждом дозамере. Доля «помню»
на выдуманных словах — мера переоценки: каждое ложное «помню» считается ошибкой того уровня,
где оно попалось, а доля уровня не бывает выше (доля «помню» − доля ложных «помню») ÷ (1 − доля ложных).
«Помню», подтверждённое на обороте карточки, считается за 1, с открытой подсказкой — за половину
(пол-ошибки); «не уверен», «не помню» и «ошибся» — за 0, то есть за ошибку.
Слой засчитывается, если ошибок (вместе с ложными «помню») не больше одной на 24 слова; при двух тест
добавляет ещё 12 слов того же слоя и засчитывает его, если ошибок по-прежнему не больше двух на 36.
Частотные слова нужно знать почти идеально, а по 24 словам «две ошибки» не отличить от слоя,
известного на 90%: дозамер делает тест строже, почти не удлиняя его. Непройденный слой
тренажёр предлагает учить с его первого слова.
Ввод перевода и выбор перевода из четырёх (он остаётся только у языков без самопроверки) — адаптивные: тест ведёт оценку
«порога знания» на шкале частотного ранга (байесовская оценка по модели ответа
с дискриминацией 1,3 и вероятностью угадывания 0,25 при выборе из четырёх) и каждый следующий
вопрос берёт около этого порога — там, где ответ даёт больше всего информации. Останавливается,
когда оценка стабилизировалась, но не раньше 25–30 и не позже 50–60 слов. Число известных слов —
сумма вероятностей знания по всем 4500 рангам; доверительный интервал — 16–84%.
Что происходит с результатом
В отличие от публичного теста на vocabtest.erosheve.ru, где всё хранится только в браузере, здесь результат
привязан к вашему аккаунту: он нужен, чтобы задать стартовое слово тренировки, и виден вам
на этой странице. Никому, кроме вас и преподавателя школы, он не показывается и никуда
не передаётся.
На сайте пять частотных колод: немецкий, английский и японский по 4500 слов, древнегреческий
и латынь по 2500. Сделаны они одинаково, и это устройство — сознательный выбор, а не привычка:
- частотный порядок вместо тем. Слова идут в том порядке, в каком встречаются в живом языке,
и ранг для каждой колоды считался заново по своим корпусам — разговорным и книжным для современных
языков, по корпусу античных авторов для древних. Первые сотни слов закрывают большую часть любого
текста, и вы всегда учите самое полезное из того, чего ещё не знаете;
- одна карточка — одно слово. Слово с родом, формами и управлением, часть речи, перевод
со всеми основными значениями; у современных языков — транскрипция или чтение и озвучка примера;
- свой пример к каждому слову. У немецкого, английского и японского — короткое естественное
предложение с переводом, написанное для колоды и проверенное; у древнегреческого и латыни —
подлинная цитата из авторов с указанием места;
- колода живая. Ошибки исправляются регулярно; на карточке и в списке слов есть кнопка «ошибка в слове? напишите».
У каждой колоды есть своё описание: по какому корпусу считалась частота, что считается словом,
откуда примеры, что на карточке и какие ограничения известны.
Почему частотный порядок, а не по темам
Слова в языке распределены крайне неравномерно, и это измерено. Адольфс и Шмитт (2003)
разобрали корпус живых разговоров в пять миллионов слов: всего 89 самых частых гнёзд —
то есть слов со всеми их формами и производными — покрывают 72% всей произнесённой речи,
тысяча гнёзд — 92%, а вот вторая и третья тысячи вместе добавляют уже чуть больше процента.
Нейшон (2006) построил ту же кривую во всю длину: первая тысяча покрывает 81% текста романа,
а четырнадцатая — 0,03%, то есть три десятка слов на всю книгу.
Порядок изучения слов поэтому не нейтрален: первые тысячи окупаются в десятки раз лучше любых
последующих.
У того же Нейшона есть и прямой ответ тем, кто предпочитает выписывать слова из любимого
сериала. Он сравнил редкую лексику двух детских мультфильмов — за пределами пяти тысяч самых
частых слов у них совпало восемь слов. Хвост у каждого текста свой и непредсказуемый; общее
у всех текстов только частотное ядро.
Отдельный довод — против тематических списков, которыми устроено большинство учебников.
Тинкэм (1997) и следом Уоринг (1997) показали: когда слова одного класса учат вместе —
все фрукты, вся одежда, все цвета, — они мешают друг другу. У Уоринга такой набор требовал
11,3 попытки против 7,2 у несвязанного, примерно в полтора раза дольше, и четверть всех ошибок была
подстановкой соседа по списку («свитер» вместо «жакета») против 5% в обычных наборах.
Любопытно, что виновата именно похожесть, а не связь вообще: слова вокруг одной сцены, но
разных классов (пруд, зелёный, прыгать) учились, наоборот, легче. Частотный порядок
застрахован от этой ловушки по своему устройству — соседние по частоте слова не связаны
между собой по смыслу.
Почему на карточке слово языка, а не русское
Знание, полученное на карточках, специфично направлению: вы становитесь хороши ровно в том,
что практикуете. У Гриффина и Харли (1996) связь в направлении обучения была почти вдвое
прочнее обратной — 59,7% против 33,7%. Поэтому карточка «слово → перевод» прицельно
строит то, что нужно для чтения и понимания на слух: мгновенное узнавание смысла.
Заодно это ответ на частый вопрос, не добавить ли обратные карточки. Мондрия и Вирсма (2004)
проверили: двунаправленное учение не окупается — 49% против 48% на узнавание и 24% против 25%
на воспроизведение, при заметно большем потраченном времени. Вдвое больше работы даёт нулевую
прибавку.
Почему повторения по расписанию
Самый показательный эксперимент здесь — Карпике и Рёдигер (2008). Студенты учили сорок пар
иностранных слов, после чего с уже выученными словами поступали по-разному. Те, кто продолжал
себя проверять, через неделю помнили около 80%. Те, у кого проверки убрали, — 33–36%, причём
одной из этих групп слова продолжали показывать до самого конца. Восемьдесят лишних просмотров
не дали ничего; восемьдесят лишних попыток вспомнить подняли результат более чем вдвое. Отсюда
устройство тренажёра: вы сначала пытаетесь вспомнить и только потом открываете ответ,
а выученное слово не исчезает навсегда, а возвращается позже.
Второй множитель — паузы. По обзору Сепеды и коллег (2006, 317 экспериментов) разнесённое
повторение даёт 47,3% против 36,7% при зубрёжке подряд, и оптимальная пауза тем длиннее,
чем дольше вам нужно помнить. Но самое сильное основание для расписания — не математика,
а человеческая слепота к собственной памяти: у Корнелла (2009) разнесение выиграло у 90%
участников, при этом 72% заметивших разницу были уверены, что лучше выучили зазубренный
подряд набор. Программа держит расписание именно потому, что человек систематически
оценивает свой прогресс неверно — и первым делом выбрасывает из повторения то,
что кажется выученным.
Сколько нужно повторений
Честный ответ: единого числа нет, и это позиция науки, а не уклончивость. Утихара, Уэбб
и Янагисава (2019) свели 26 исследований и получили, что частота встреч объясняет лишь
около 11% успеха, а после примерно двадцати встреч добавка каждой новой стремится к нулю.
Решает не счётчик, а характер встречи и то, кто именно это слово встречает.
Не бинарно и само «знаю слово». Уэбб (2007) замерял десятью разными тестами, что человек
приобретает с каждой встречей: уже после первой слово уверенно узнаётся (58–67%), а вот
способность самому вспомнить его значение и после десяти встреч держится на 29%. Поэтому
«выучено» в тренажёре — это не галочка, а длинный интервал: слово продолжает возвращаться,
пока не начнёт всплывать без усилия.
Чего колода не делает
Карточки дают настоящее знание, а не его имитацию — это проверено довольно изящно. Элгорт
(2011) дала людям выучить полсотни выдуманных слов исключительно по карточкам, около четырёх
часов за неделю, а затем прогнала их через психолингвистические тесты. Новые слова повели себя
как настоящие: у них появилось собственное место в словаре головы, они давали автоматический
эффект узнавания при показе на 56 миллисекунд, которого 82% участников даже не осознавали.
Но у этого знания есть граница. Карточка строит связку «форма — значение», и на этом её
возможности заканчиваются. С какими словами слово ходит рядом, в каком регистре звучит,
как ведёт себя в предложении, и главное — как всё это выдавать в реальном времени —
знание статистическое: оно набирается только из множества разных контекстов. Поэтому колода
не заменяет чтение, сериалы, подкасты и разговор, а расчищает им дорогу: когда знакомых слов
в тексте достаточно, всё остальное начинает усваиваться само. Нейшон предлагает простую
пропорцию: целенаправленная работа над языком, куда входят и карточки, — примерно четверть
учебного времени, остальное — понятный вход, собственная речь и работа на скорость.
И встречный совет: карточку не надо «обогащать». Баркрофт (2004) обнаружил, что составление
предложений с новым словом ухудшало запоминание его формы вдвое — при уравненном времени.
Дополнительная возня со смыслом отбирает ресурсы у запоминания самого слова. Карточка должна
оставаться узкой и быстрой; всё богатство языка добирается за её пределами.
Источники: Adolphs & Schmitt (2003); Nation (2006, 2007); van Zeeland &
Schmitt (2013); Tinkham (1997); Waring (1997); Griffin & Harley (1996); Mondria &
Wiersma (2004); Karpicke & Roediger (2008); Cepeda et al. (2006); Kornell (2009);
Uchihara, Webb & Yanagisawa (2019); Webb (2007); Elgort (2011); Barcroft (2004).
Проценты покрытия измерялись на английских корпусах: форма кривой переносится на любой язык,
конкретные числа — нет.
Из истории первой колоды
первое описание «Немецкого 4500», как оно было на vocabtest; частично повторяет описание выше
Тренажёр построен на словарном списке колоды «Немецкий 4500: все слова, которые имеют
значение» — 4500 самых употребительных немецких слов, отсортированных по частоте. Идея
простая: учить слова не по темам («еда», «в аэропорту»), а в том порядке, в котором они реально
встречаются, — тогда вы всегда учите самое полезное из того, чего ещё не знаете.
Как считалась частота
Обычные частотные словари немецкого построены на газетах и академических текстах — в них
Molekül и Enzym оказываются впереди Löffel и Handtuch, а слова
hallo нет вовсе. Для колоды ранг считался заново по двум корпусам живого языка:
- разговорный — субтитры ~1200 роликов 14 немецкоязычных YouTube-каналов
(Easy German, подкасты, влоги; учебные каналы — с меньшим весом), около 1,85 млн слов;
- книжный — современная художественная и нон-фикшн проза, около 3,2 млн слов.
Итоговый ранг — взвешенная сумма (65% разговорный, 35% книжный) с поправкой на то, встречается
ли слово во многих источниках или только в одном. Служебные слова (ich, und, dass),
имена собственные и узкоакадемическая лексика в колоду сознательно не входят: первые вы выучите
из любого учебника, вторые — не лексика, третьи вам пока не нужны.
Что в карточке
Слово с артиклем и множественным числом, транскрипция IPA, часть речи, перевод со всеми
основными значениями и управлением, формы неправильных глаголов, пример в естественном
предложении с переводом и озвучкой. Существительных 2200, глаголов 1230, прилагательных
и наречий 1020, остальное — числительные, местоимения, междометия.
Карточка в тренажёре — та же самая, что в Anki: вёрстка, цвета артиклей и озвучка взяты
из нотетайпа колоды один в один. Если вы учите колоду в Anki, здесь вы увидите ровно свои
привычные карточки, только без установки и синхронизации.
Что из этого в тесте
Тест использует слово, перевод, часть речи, пример и частотный ранг. Предложение в тесте — то же,
что в карточке колоды: если вы учите колоду, вы узнаете свои примеры.
Колода выходит в двух версиях — с русским и с английским переводом — вместе с тремя справочными
PDF (существительные по родам, глаголы по системам, прилагательные и наречия) и полной таблицей
слов. Подробности — на erosheve.ru.