В сеть выложили бесплатное по для подмены лиц в видео с инструкцией на русском языке

Каким образом пользоваться программой REFACE

После загрузки и запуска мобильного приложения для подмены лиц на экране появится большой список видео, в которых можно подставить себя в качестве главного героя. Здесь полно фильмов от кинокомпании Марвел, героем которых вы сможете стать в несколько тапов.

Поиск в приложении Reface

При помощи поисковой строки можно искать фильмы и актёров, в которых вы желаете воплотиться. Видео есть не только ориентированные на западную публику, но и отечественной эстрады.

Клип Насти Каменских в Reface

Например, клипы Насти Каменских.

Каким образом использовать приложение, которое меняет ваше лицо на видеоролике:

Для начала нам нужно определиться, какую роль мы будем играть в приложении REFACE. Выберите клип, чтобы использовать его;

Выберите клип в приложении Reface
Далее нужно создать изображение или найти его в галерее, если оно готово для применения;
Если вам нравятся роли Ди Каприо, введите его имя в поисковой строке;

Поиск видео с Ди Каприо в Reface
Укажите подходящий ролик;

Выберите видео в Reface
Нажмите внизу предпросмотра видео кнопку «Reface» и дождитесь окончания процесса подставки вашего фото в кадр;
Внизу появятся две кнопки — «Поделиться» и «Скачать видео».

Результаты обработки видео в Reface

Поделиться полученным результатом можно в любых приложениях социальных сетей или мессенджерах, которые установлены на вашем смартфоне. Для этого нажмите на кнопку и выберите подходящее. Чтобы скачать ролик с подставленным лицом в память телефона, нажмите на стрелочку слева внизу экрана. О качестве внедрения вашего фото в ролик вы сможете судить сами. В большинстве случаев пользователи довольны результатом. Скорее всего вы тоже будете в восторге от такого видео.

Speech2Face пока ошибается, но результаты все равно удивляют

Нельзя сказать, что на данный момент система работает точно. Так, в примере приводятся несколько лиц (в том числе известных личностей), но выдаваемый результат далеко не всегда совпадает с оригиналом.

Например, система сильно состарила внешность Дэниела Крейга и ошиблась с цветом волос Марии Шараповой.

Любопытно, что чем длиннее входная аудиозапись, тем и ближе сгенерированное изображение к истинному.

Повторюсь, что на данный момент цель проекта состоит не в том, чтобы восстановить точное изображение человека, а скорее в том, чтобы восстановить характерные физические особенности, которые коррелируют с его речью. Но авторы Speech2Face планируют продолжить исследования.

Возможно, в недалеком будущем мы сможем скачать приложение, способное предугадывать внешность неизвестного телефонного собеседника. Звучит фантастически, но в нынешнее время высоких технологий и нейросетей все возможно. Ждем.

iPhones.ru

Работает не идеально, но все равно очень круто.

Рассказать

Артём Баусов

Главный по новостям, кликбейту и опечаткам. Люблю электротехнику и занимаюсь огненной магией.

Telegram: @TemaBausov

Что такое landmarks

рис 4. Визуальное отображение структур лица

Цель определения landmarks — нахождение точек лица. Первый шаг в алгоритме — определение локации лица на картинке. После получения локации лица ищут ключевые контуры:

Контур лица.
Левый глаз.
Правый глаз.
Левая бровь.
Правая бровь.
Левый зрачок.
Правый зрачок.
Нос.
Губы.

Каждый из этих контуров является массивом точек на плоскости.

рис 5. dlib 68 landmarks

На картинке можно четко увидеть структуры лица. При этом в зависимости от выбранной библиотеки количество landmarks отличается. Разработаны решения на 4 landmarks, 16, 64, 124 и более.

Способ 3: Generated Photos

Онлайн-сервис Generated Photos значительно отличается от других, поскольку позволяет получить фото лица реального человека с заранее заданными параметрами внешности. Некоторым пользователям требуется именно такой формат изображения, поэтому давайте разберемся с этим инструментом.

После перехода на главную страницу Generated Photos нажмите «Browse photos».
Используйте первый раздел «Face», чтобы указать, будет ли целевое фото натуральным или обработанным при помощи вспомогательных средств.
Через «Sex» задайте пол человека, фото которого хотите подобрать.
Сортируйте и по возрасту, отметив маркером какой-либо пункт. Можно выбрать как ребенка, так и человека средних лет, пожилого.
Поддерживается фильтр по этнической принадлежности. Это может быть афроамериканец, латиноамериканец, белый или азиат.
Далее самое время перейти к деталям, выбрав цвет глаз.
Точно по такому же принципу определяется и цвет волос.
В завершение остается указать их длину.
Последняя категория называется «Emotion», то есть вы можете указать, какую эмоцию должен выражать человек на фото. Пока Generated Photos только развивается, поэтому выбор вариантов небольшой.
По готовности нажмите «Apply», чтобы применить фильтры.
Ознакомьтесь с результатами и кликните по подходящему снимку.
Задайте цвет заднего фона и нажмите «Download» для авторизации через соцсети и скачивания фото в формате изображения.

Результаты

В результате мы запилили систему, натренированную на реальных данных социальной сети, дающую хорошие результаты при ограниченных ресурсах.

Качество распознавания на датасете, построенном на реальных профилях из ОК, составило TP=97.5% при FP=0.1%. Среднее время обработки одной фотографии составляет 120 мс, а 99 перцентиль укладывается в 200 мс. Система самообучающаяся, и чем больше тегируют пользователя на фото, тем точнее становится его профиль.

Теперь после загрузки фото пользователи, найденные на них, получают уведомления и могут подтвердить себя на фотографии или удалить, если фото им не нравится.

Автоматическое распознавание привело к 2-кратному росту показов событий в ленте об отметках на фотографиях, а количество кликов на эти события выросло в 3 раза. Интерес пользователей к новой фиче очевиден, но мы планируем вырастить активность еще больше за счет улучшения UX и новых точек применения, таких как Starface.

Флешмоб StarFace

Для того чтобы познакомить пользователей соцсети с новой функциональностью, ОК объявили конкурс: пользователи загружают свои фотографии со звездами российского спорта, шоу-бизнеса и популярными блоггерами, ведущими свои аккаунты в Одноклассниках, и получают бейдж на аватарку или подписку на платные сервисы. Подробности тут: https://insideok.ru/blog/odnoklassniki-zapustili-raspoznavanie-lic-na-foto-na-osnove-neyrosetey

За первые дни акции пользователи уже загрузили более 10 тысяч фото со знаменитостями. Выкладывали селфи и фотографии со звездами, фото на фоне афиш и, конечно, “фотошоп”. Фото пользователей, получивших ВИП-статус:

Распознавание лиц с помощью OpenCV

Распознавание лиц — простая задача для человека. Успешное распознавание лиц имеет тенденцию к эффективному распознаванию внутренних черт (глаза, нос, рот) или внешних черт (голова, лицо, линия роста волос). Вот вопрос в том, как человеческий мозг это кодирует?

Наш мозг объединяет различные источники информации в полезные шаблоны; мы не видим визуальное как разброс. Если мы определим распознавание лиц простым словом, «автоматическое распознавание лиц состоит в том, чтобы удалить эти значимые функции из изображения и поместить их в полезное представление, а затем выполнить для них некоторую классификацию».

Основная идея распознавания лиц основана на геометрических особенностях лица. Это осуществимый и наиболее интуитивно понятный подход к распознаванию лиц. Первая автоматизированная система распознавания лиц была описана по положению глаз, ушей, носа. Эти точки позиционирования называются вектором признаков (расстояние между точками).

Распознавание лиц достигается путем вычисления евклидова расстояния между векторами признаков зонда и эталонного изображения. Этот метод по своей природе эффективен в изменении освещенности, но имеет существенный недостаток. Правильная регистрация производителя очень сложна.

Система распознавания лиц может работать в основном в двух режимах:

Аутентификация или проверка изображения лица.

Он сравнивает входное изображение лица с изображением лица, относящимся к пользователю, для которого требуется аутентификация. Это сравнение 1х1.

Идентификация или распознавание лица.

В основном он сравнивает входные изображения лиц из набора данных, чтобы найти пользователя, который соответствует этому входному лицу. Это сравнение 1xN.

Существуют различные типы алгоритмов распознавания лиц, например:

Eigenfaces (1991)
Local Binary Patterns Histograms (LBPH) (1996)
Fisherfaces (1997)
Scale Invariant Feature Transform (SIFT) (1999)
Speed Up Robust Features (SURF) (2006 г.)

Каждый алгоритм использует разные подходы для извлечения информации об изображении и выполнения сопоставления с входным изображением. Здесь мы обсудим алгоритм гистограммы локальных бинарных паттернов (LBPH), который является одним из старейших и популярных алгоритмов.

Golden Ratio Face — установит точные параметры вашего лица по фото

Возможно, вы давно хотели установить точные параметры своего лица, тогда нужно на телефон установить приложение Golden Ration Face. Золотое сечение — это особая древняя уникальная пропорция.

Точки, которые используются при идентификации типа лица в приложении Golden Ratio Face

Люди и сегодня верят, что многое из безупречных вещей, созданных в древности, были реализованы по расчётам золотого сечения. Учёные утверждают, что чем симметричнее человеческое тело и черты лица, тем более привлекательнее для противоположного пола.

Параметры черт лица в приложении

Мобильное приложение Golden Ratio Face делает тест на симметрию лица и на основе этих данных определяет уровень привлекательности человека. После запуска теста красоты, приложение пытается определить расстояние между парными органами лица.

Определение параметров лица в приложении

А также форму носа, бровей, типа губ и прочее. В результате этого пользователь видит все параметры ниже своей фотографии. После определения типа лица приложение может сравнить эти черты с другими. Например, чертами известного человека.

Тесты в мобильном приложении Golden Ratio Face

Мобильное приложение Golden Ration Face можно скачать и для устройств с IOS. Но в App Store его оценка слишком низка — 1 звезда.

Golden Ratio Face в App Store

Приложение не было доведено до рабочего состояния для этой платформы. Пользователи жалуются на то, что оно даже не запускается. В связи с этим нет смысла его рекомендовать.

Обнаружение HAAR-каскада в OpenCV

OpenCV предоставляет как тренер, так и детектор. Мы можем обучить классификатор для любого объекта, такого как автомобили, самолеты и здания, с помощью OpenCV. Существует два основных состояния каскадного классификатора изображений: первое — обучение, а другое — обнаружение.

OpenCV предоставляет два приложения для обучения каскадного классификатора opencv_haartraining и opencv_traincascade. Эти два приложения хранят классификатор в другом формате файла.

Для обучения нам понадобится набор образцов. Существует два типа образцов:

Отрицательный образец: относится к непредметным изображениям.
Положительный образец: это связанное изображение с обнаруженными объектами.

Набор отрицательных образцов должен быть подготовлен вручную, тогда как набор положительных образцов создается с помощью утилиты opencv_createsamples.

REFACE — мобильное приложение, которое меняет лица

Некоторые популярные мобильные приложения из цикла «Фейс свап» имеют собственный алгоритм замены лиц. У программы REFACE он также своеобразен. Она достаточно качественно подменяет лица за счёт того, что видео мы можем выбирать только из списка предложенных в приложении. Это даёт возможность разработчикам вставить область вашего лица довольно качественно. В данный момент оно находится в списке лучших среди первых 15 бесплатных приложений магазинов.

Мобильное приложение Reface

REFACE доступно для мобильных устройств с IOS и Android. Оно работает на собственной технологии REFACEAI. И было отмечено одобрительной оценкой в таких популярных западных журналах: Forbes, TNW, Digital Trends, Mashable. Его уже испробовало более 10 миллионов пользователей по всему миру.

Видео в приложении Reface

И, не смотря на такую огромную цифру, его рейтинг в онлайн-магазинах приложений остаётся высоким — 4.6 балла.

Оценка приложения Reface

Приложение предлагает большое количество мемов, популярных видео, отрывков фильмов, в которые вы сможете вставить и поменять своё лицо. Или лицо другого человека, чья фотография есть в вашем смартфоне. Теперь рассмотрим данное приложение более близко и узнаем, как его использовать.

Как люди «читают» лица друг друга

Для того, чтобы «считывать» лица, не обязательно быть профессионалом. Мы делаем это каждый день, каждый раз, когда вступаем в коммуникацию. Когда мы встречаемся с человеком и смотрим ему в лицо, наш мозг проводит быстрый анализ собеседника, он длится доли секунды — 30 миллисекунд. За это время мозг решает 3 задачи:

Определяет, насколько безопасен собеседник.
Решает, насколько подходит или не подходит нам человек для продолжения рода, если это представитель противоположного пола.
Определяет, кто здесь главный.

Если вы будете вспоминать общение с разными людьми, то наверняка вспомните случаи, когда вы только человека увидели — и сразу поняли, что надо быть поосторожнее, более внимательно отнестись к его аргументам и не спорить.

Это значит, что мозг вам подсказал — ваш коммуникативный партнер является потенциальным агрессором или доминантом относительно вас. Либо наоборот, когда вы смотрите на человека, и у вас возникает ощущение, что будет легко его в чем-то убедить, он поддается на ваши аргументы. Подобный анализ мозг проводит в обход нашего рацио. Он обрабатывает данные, которые уже накоплены в памяти в ходе обучения и эволюции, и лицо собеседника играет в этом одну из главных ролей. Для примера возьмем характеристику нижней челюсти.

Нижняя челюсть в животном мире отражает стратегию защиты и нападения. В зависимости от того, как устроен челюстно-лицевой аппарат, особь либо более опасна, либо не представляет угрозы. В животном мире такие представители определяются как доминантные, а среди людей — как лидеры и харизматики.

И наверняка у вас были такие в жизни ситуации, когда вы видели человека, который вроде сам по себе щупленький, но обладает широкой и хорошо очерченной нижней челюстью. При скромных габаритах такой человек все равно производит впечатление внутренней силы. Из этого можно сделать вывод, что люди с сильно выраженной нижней челюстью, при прочих равных, будут более уверены в себе, чем люди с легкой челюстью. Появляется вопрос: так это размер челюсти определяет уверенность или уверенность как-то влияет на рост кости?

На самом деле ответ скрыт в совершенно другой плоскости — в социальной перцепции. Это эволюционно обусловленное понятие, от которого зависит восприятие человека человеком в социальном контексте.

Когда ваш мозг определяет человека как доминанта в коммуникации, вы начинаете вести себя с ним, как с доминантом, человек считывает это изменение в поведении и берет на себя соответствующую роль и манеру общения.

Так, к примеру, формируется харизма руководителя, когда подчиненные постоянно подсвечивают ему, что он принял правильное решение. Тогда человек становится более уверен в себе, и таким образом у него проявляются лидерские качества. Хотя среднестатистически, психологами доказано, что процент ошибок у такого руководителя не меньше, чем у менее харизматичного.

Физиогномическая энцефалометрия, или, если проще, черты лица, связаны с социальной перцепцией и лицевой перцепцией, то есть с формированием образа в головах других людей и у самого носителя черт. Человек анализирует лицо собеседника комплексно, соотнося все черты и связанные с ними характеристики: глаза, нос, форму бровей и губ, размер лба.

Но если мозг делает это неосознанно, то зачем нам нужна физиогномика?

Потому что сознание беспокойно и не доверяет подсознанию. Для более легкого принятия решения ему нужна поддержка. Когда мы знаем методику физиогномики и работаем с ней, мы помогаем нашему сознанию принимать правильные решения и избегать социальных установок и манипулятивных воздействий, которые происходят во время коммуникации.

Как заменяется лицо в видео?

Прежде чем рассказать как это делается, лучше будет наглядно посмотреть как это выглядит. Вот один из популярных роликов с лицом Илона Маска. Почему-то именно этот персонаж очень часто является героем дипфейков

Если говорить упрощенно, то в случае с видео работа нейросети заключается в объединении нескольких картинок между собой. Искусственный интеллект анализирует черты лица и характер мимики персонажа на видео, строя из него цифровой шаблон. Потом лицо на фотографии преобразуется в набор чисел, и уже он «натягивается» на шаблон.

Звучит достаточно просто, но на деле за этим стоят довольно серьезные вычислительные мощности и алгоритмы. Ведь помимо совмещения лиц надо еще «подогнать» их черты друг под друга, учесть освещение кожи в оригинальном ролике, добавить смещения из-за движений головы, туловища и пр.

Способ 2: Character Creator

Character Creator — бесплатный инструмент для создания полноценного персонажа, которого можно использовать в дальнейшем для анимирования или добавления в игру. Функциональность этого онлайн-сервиса направлена только на создание лица, что происходит так:

Перед началом работы с персонажем потребуется выбрать пол, кликнув по одной из фигур левой кнопкой мыши.
После на экране появится таблица с возможными оттенками цвета кожи, где вам предстоит отыскать подходящий.
Настройку тела рассматривать не будем и сразу же перемещаемся в раздел «Head» через меню слева.
Первая категория называется «Body_head». Выберите ее левым кликом мыши, а затем справа определите форму будущего лица.
Далее перемещайтесь в «Ears», чтобы точно по такой же схеме настроить внешний вид ушей.
В «Iris» выбирается тип глаза.
Через отдельную категорию «Pupils» можно задать одну из трех форм зрачка, а также дополнительно выбрать предпочитаемый цвет.
Следом идет категория «Nose», где доступно несколько самых популярных форм носа. Укажите один из них, а затем сразу же посмотрите результат, накладывающийся на модель.
В Character Creator присутствуют самые разные вариации бороды и усы, которые можно посмотреть через «Facialhair». Тут же настраивается цвет и полностью убирается волосяной покров на лице.
Через категорию «Hair» происходит примерно то же самое, но только для волос на голове.
Есть возможность и наложения веснушек в «Freckles».
Если требуется, чтобы на лице персонажа изначально проявлялись какие-то эмоции, ознакомьтесь со списком доступных выражений, подобрав подходящее.
По завершении убедитесь, что персонаж был создан правильно, а затем щелкните «Download».
Выберите тот вариант, где изображено только лицо, и скачайте его на компьютер.
Готовое изображение с лицом будет скачано в формате SVG.

Если вы впервые сталкиваетесь с форматом SVG, наверняка возникнет вопрос о том, как его открыть. Для этого можно использовать ряд специальных программ и даже обычный браузер. Кроме этого поддерживается конвертирование в тот же JPG или PNG при помощи онлайн-сервисов. Более детально эти темы раскрываются в других статьях на нашем сайте по ссылкам ниже.

Подробнее:Открываем файлы векторной графики SVGКонвертирование фотографий разных форматов в JPG онлайн

Положительный образец

Положительные образцы создаются утилитой opencv_createsamples. Эти образцы могут быть созданы из одного изображения с объектом или из более ранней коллекции

Важно помнить, что нам требуется большой набор данных положительных образцов, прежде чем вы отдадите его упомянутой утилите, потому что она применяет только перспективное преобразование

Здесь мы обсудим обнаружение. OpenCV уже содержит различные предварительно обученные классификаторы для лица, глаз, улыбки и т. д. Эти файлы XML хранятся в папке opencv/data/haarcascades/. Давайте разберемся со следующими шагами:

Шаг 1.

Во-первых, нам нужно загрузить необходимые классификаторы XML и загрузить входные изображения (или видео) в режиме оттенков серого.

Шаг 2.

После преобразования изображения в оттенки серого мы можем выполнить манипуляции с изображением, при которых изображение можно изменить, обрезать, размыть и повысить резкость, если это необходимо. Следующий шаг — сегментация изображения; определить несколько объектов на одном изображении, поэтому классификатор быстро обнаруживает объекты и лица на изображении.

Шаг 3.

Алгоритм признаков Хаара используется для определения местоположения человеческих лиц в кадре или изображении. Все человеческие лица имеют некоторые общие универсальные свойства лиц, такие как область глаз темнее, чем пиксели соседей, а область носа ярче, чем область глаз.

Шаг 4.

На этом этапе мы извлекаем функции из изображения с помощью обнаружения краев, обнаружения линий и обнаружения центра. Затем укажите координаты x, y, w, h, которые образуют прямоугольную рамку на изображении, показывающую местоположение лица. Это может создать прямоугольную рамку в нужной области, где обнаруживается лицо.

Подделка голоса против «фейковых» видео

Современные технологии искусственного интеллекта могут быть использованы злоумышленниками не только для создания поддельных видео. Не меньшую опасность представляют попавшие в плохие руки технологии имитации человеческой речи.

По мнению аналитиков Symantec, такие системы могут использоваться кибермошенниками для хищения различных активов, включая финансы, корпоративную и частную информацию. По данным компании, эти технологии уже использовалась для хищения «миллионов долларов».

Ефим Климов, «Эттон»: Как мы получили грант на разработку MES-системы
Поддержка ИТ-отрасли

Ранее специалисты Symantec сообщали о как минимум трех случаях, когда поддельные голоса гендиректоров были применены для обмана глав финансовых отделов компаний с целью мошеннического вывода денежных средств.

Технология имитации голоса имеет значительно больший потенциал для мошеннических махинаций, считают в Symantec. Так, в отличие от подделки видео, где «натренированная модель» должна заместить собой исходное видео для подделки лица, поддельный аудио профиль может использоваться даже с давно известной технологией преобразования текста в голос.

Что необходимо для того, чтобы определить тип лица

Сегодня существуют уникальные программы, которые способны мыслить практически как человек и самостоятельно делать выводы. Они основываются на умных алгоритмах. И способных определять формы по фотографии и выдавать результаты. Иногда они могут быть более точными, чем расчёты человека. Прежде чем приступать к определению строения лица, пользователь должен сделать качественную фотографию — селфи.

Фото лица девушки

Изображение не должно быть размыто, иначе ни одна программа не справится с определением границ вашего лица. Сложно будет понять его строение даже человеку. Лицо должно находиться в её центре и занимать как минимум 50% площади фото. Также на части лица не должно быть головных уборов, которые бы закрывали лоб. В кадре вы должны смотреть прямо.

Система распознавания пользователей в соц сети

Распознавание лиц на загруженном фото

Пользователь загружает фото с любого клиента (с браузера или мобильных приложений iOS, Android), оно попадает на детектор, задача которого найти лица и выровнять их.

После детектора нарезанные и предобработанные лица попадают на нейросетевой распознаватель, который строит характеристический профиль лица пользователя. После этого происходит поиск наиболее похожего профиля в базе. Если степень похожести профилей больше граничного значения, то пользователь автоматически детектируется, и мы отсылаем ему уведомление, что он есть на фото.

Рисунок 1. Распознавание пользователей на фото

Перед тем, как запустить автоматические распознавание, нужно создать профиль каждого пользователя и заполнить базу.

Построение пользовательских профилей

Для работы алгоритмов распознавания лиц, достаточно всего одной фотографии, например аватарки. Но будет ли эта аватарка содержать фото профиля? Пользователи ставят на аватарки фотографии звёзд, а профили изобилуют мемасиками или содержат только групповые фотографии.

Рисунок 2. Трудный профиль

Рассмотрим профиль пользователя, состоящий только из групповых фотографий.
Определить владельца аккаунта (рис. 2) можно если учитывать его пол и возраст, а также друзей, профили которых были построены ранее.

Рисунок 3. Построение пользовательских профилей

Мы строили профиль пользователя следующим образом (Рис. 3):

1) Выбирали наиболее качественные фотографии пользователя

Если фотографий было слишком много, мы использовали не более ста лучших.
Качество фотографий определяли на основе:

наличия отметок пользователей на фото (фотопинов) ручным способом;
метаинформации фотографии (фото загружено с мобильного телефона, снято на фронтальную камеру, в отпуске, …);
фото было на аватарке

2) Искали на этих фотографиях лица

3) Вычисляли характеристический вектор лица

4) Производили кластеризацию векторов

Задача этой кластеризации – определить, какой именно набор векторов принадлежит владельцу аккаунта. Основная проблема – это наличие друзей и родственников на фотографиях. Для кластеризации мы используем алгоритм DBScan.

5) Определяли лидирующий кластер

Для каждого кластера мы считали вес на основании:

размера кластера;
качества фотографий, по которым построены эмбеддинги в кластере;
наличия фотопинов, привязанных к лицам из кластера;
соответствия пола и возраста лиц в кластере с информаций из профиля;
близость центроида кластера к профилям друзей, вычисленным ранее.

Коэффициенты параметров, участвующих в вычислении веса кластера обучим линейной регрессией. Честный пол и возраст профиля – отдельная сложная задача, об этом расскажем далее.

Чтобы кластер считался лидером, нужно чтобы его вес был больше ближайшего конкурента на константу, рассчитанную на обучающей выборке. Если лидер не найден, мы еще раз переходим к пункту 2, но используем большее число фотографий. Для некоторых пользователей мы сохраняли два кластера. Такое бывает для совместных профилей — некоторые семьи имеют общий профиль.

6) Получали эмбеддинги пользователя по его кластерам

Эмбеддинг пользователя – это центроид отобранного для него (лидирующего) кластера.
Строить центроиды можно множеством разных способов. После многочисленных экспериментов мы вернулись к самому простому из них: усреднение входящих в кластер векторов.

Как и кластеров, эмбеддингов у пользователя может быть несколько.

За время итерации мы обработали восемь миллиардов фото, проитерировали 330 млн профилей и построили эмбеддинги для трехсот миллионов аккаунтов. В среднем, для построения одного профиля мы обрабатывали 26 фотографий. При этом для построения вектора достаточно даже одной фотографии, но чем больше фото, тем больше наша уверенность, что построенный профиль принадлежит именно владельцу аккаунта.

Процесс построения всех профилей на портале мы производили несколько раз, так как наличие информации о друзьях повышает качество выбора кластера.
Объем данных необходимый для хранения векторов ~300 GB.