— Тату, дивись! Це мідія чи рапана? Вона наполовину в піску, і я не розумію.
— Тоді давай спитаємо в її сусідів.
— У мушлі є сусіди?
— У будь-чого є сусіди, якщо правильно намалювати.
Тато взяв паличку й накреслив на мокрому піску дві осі. У нього в рюкзаку, як завжди, знайшлася рулетка.
— Міряй усе, що ми сьогодні назбирали: довжину й ширину. А я малюватиму.
Мушлі на піску
За пів години на піску з'явилася картинка, дуже схожа на ту, що ти бачив у главі 15. По горизонталі — довжина мушлі, по вертикалі — ширина. Кожна мушля — одна точка. Мідії тато позначав кружечками, рапани — хрестиками.
І знову точки не розкидані як попало. Мідії — довгі й вузькі — зібралися внизу праворуч. Рапани — ширші — угорі ліворуч. Два табори, кожен у своєму кутку.
Числа, якими ми описуємо предмет (тут — довжина й ширина), називаються ознаками. А підпис «мідія» чи «рапана» — це мітка, або клас. Завдання віднести новий предмет до одного з класів — «мідія чи рапана», «спам чи ні», «кіт чи пес» — називається classification (класифікація).
Шість мушель — ті самі, що в програмі з рубрики «Під капотом». Спробуй k = 5: відповідь зміниться.
Тепер нова мушля. Вероніка міряє її — і на піску з'являється знак питання. Що далі? Тато обводить навколо нього коло, щоб у нього потрапили три найближчі точки. Дві з них — мідії, одна — рапана. Голосування: два проти одного. Значить, найпевніше, мідія.
Оце й увесь метод. Він називається k-nearest neighbors, kNN (метод k найближчих сусідів): знайди k найближчих знайомих прикладів і подивись, яких серед них більше. Тут k = 3.
Скільки сусідів питати?
Число k обираємо ми самі, і від нього багато залежить. Якщо k = 1, вирішує один-єдиний найближчий сусід. А раптом це була помилка: рапану виміряли криво або записали не в той табір? Тоді й відповідь буде хибна.
Якщо ж узяти k занадто великим — скажімо, усі сорок мушель, — голосуватиме весь пляж, і переможе клас, якого просто більше. Тож k шукають посередині. А коли класів два, беруть непарне k — щоб голоси не розділилися навпіл.
— Тату, а метод довго вчиться?
— Узагалі не вчиться. Він просто пам'ятає всі мушлі. І думає тільки тоді, коли ти приносиш нову.
Це правда. У главі 15 ми «стискали» всі точки в одну лінію, а далі користувалися лише нею. kNN нічого не стискає: він тримає в пам'яті всі приклади і щоразу порівнює новий з кожним. Для сорока мушель — дрібниця, для мільярда фотографій — дуже повільно.
Метод описали 1951 року американські статистики Евелін Фікс і Джозеф Годжес — у звіті для школи авіаційної медицини ВПС США. Тепер його вивчає першим мало не кожен, хто береться за машинне навчання.
— Отже, мідія, — сказала Вероніка й нарешті витягла мушлю з піску. Мушля була довга, вузька й темна.
— Сусіди не збрехали, — усміхнувся тато.
— Цього разу. Бо я їх добре поміряла.
