Дипфейки. Deepfakes.

Очень интересную статью прочитала вчера. К медицине она не имеет отношения, но меня она очень заинтересовала, так как фотография — моё хобби.

Американские исследователи предложили новый метод, позволяющий отличить дипфейковое изображение от настоящего. Он основан на сравнении отражений в глазах человека: на реальных фотографиях отражения почти идентичны, а в созданных нейросетью они сильно разнятся между глазами. Статья опубликована на arXiv.org.

В последние несколько лет технологии подмены лиц на фотографиях и создания фотографий несуществующих людей резко продвинулись вперед, и теперь обнаружить такие подделки стало очень сложно как людям, так и алгоритмам. Качество работы алгоритмов для создания дипфейков выросло настолько сильно, что государствам приходится принимать законы, запрещающие их применение, а компаниям — проводить конкурсы по созданию защиты от таких алгоритмов. Во многом быстрое развитие технологий в этой области связано с тем, что оно превратилось в классическое «противостояние щита и меча»: одни исследователи разрабатывают методы обнаружения дипфейков, а другие учитывают их наработки и создают новые алгоритмы, невосприимчивые к этим методам. Все это привело к тому, что сейчас работу лидирующих дипфейк-алгоритмов можно обнаружить лишь по небольшим артефактам на изображениях.

Исследователи из Университета Баффало под руководством Сывея Люя (Siwei Lyu) нашли новый недостаток, по которому можно отличить дипфейк от обычной фотографии — отражения в глазах. Поскольку глаза человека расположены гораздо ближе друг к другу, чем источник света, на реальной фотографии отражения в обоих глазах почти одинаковы за исключением редких случаев, например, если свет от одного из источников света попадает только на один глаз. Однако в алгоритмах для подмены или создания лиц нет физических ограничений, описывающих поведение отражений, поэтому на создаваемых ими изображениях отражения в глазах разнятся гораздо сильнее.

Авторы работы создали алгоритм, который автоматически определяет дипфейки по отражениям, который работает следующим образом. Сначала он обнаруживает на изображении лицо, размечает на нем ключевые точки и на их основании вырезает область, ограниченную радужной оболочкой. Затем алгоритм бинаризирует это изображение, превращая пиксели с яркостью выше пороговой в черные, а остальные — в белые. В результате образуется два изображения (по одному на глаз) с формой отражений, между которыми рассчитывается схожесть по коэффициенту Жаккара.

Примеры реальных (сверху) и поддельных (снизу) изображений глаз Shu Hu et al. / arXiv.org, 2020

Исследователи оценили работу алгоритма на двух выборках: реальных лицах из датасета Flickr-Faces-HQ и сгенерированных нейросетью StyleGAN2 с сайта This Person Does Not Exist. На графике коэффициента Жаккара явно видно, что распределения реальных и фейковых фотографий значительно отличаются. Также они построили для этих распределений ROC-кривую и показали, что точность классификации (отнесения фотографии к одному из двух типов) составляет 94 процента.

Распределение коэффициента сходства для реальных и поддельных изображений Shu Hu et al. / arXiv.org, 2020

Несмотря на высокий результат, авторы отметили, что он был достигнут на фотографиях с портретным расположением лица и ярким освещением. Если применить метод к другим фотографиям, особенно к тем, в которых на глазах нет явных отражений, его эффективность будет ниже. Кроме того, их алгоритм сравнивает разницу между отражениями попиксельно, не учитывая форму всего отражения, что давало бы более качественный результат.

Дипфейки обычно связывают с негативными применениями, к примеру, созданием ботов в соцсетях или недостоверных видеозаписей от лица знаменитостей, но их можно использовать и во благо. Например, норвежские разработчики предложили заменять лица людей на дипфейки, чтобы создавать анонимизированные изображения, сохраняющие при этом близкое к оригинальному распределение данных.

Источник: https://arxiv.org/pdf/2009.11924.pdf

На Главную.

Дипфейки. Deepfakes.: 10 комментариев

  1. great post. i worry a lot for the young ones who grow into this modern world, how to discern what is real and what is not. Innocence of the child is precious and to be nurtured but with algorithms choosing the plot or the story how can they be protected to learn and grow from their own experience. Technology is a fantastic tool but is also a demon of subterfuge that connects differently from ordinary human interaction. Be safe and well LiDea. peace and love from Oz.

    Нравится 1 человек

  2. A very interesting area of research. Development of an effective algorithm to differentiate real from fake imagery should continue to grow in importance as technology makes it easier to fool people with modified photographs. Thank you for sharing this insightful information, my friend LiDea & have a wonderful day 😊

    Нравится 1 человек

  3. Yes, I agree LiDea. And it looks like the fake content problem will be an issue with videos, too, in the near future — false information, lies, propaganda…what is real anymore? Scary times, indeed, when technology is used to subvert reality.

    Нравится 1 человек

  4. This technology makes it easy to manipulate audio, photo and video content, and as it develops, it becomes more difficult to figure out where is the truth and where is fake.
    Therefore, I think it is necessary to legislatively stipulate what can be allowed and what must be suppressed by law.

    Нравится 1 человек

  5. Yes, that sounds like a thoughtful and reasonable posture; technology is moving at an exponential rate and, as such, restraint on the opportunities to manipulate the public should be enacted now, before the influence of bad actors overwhelms societies.

    Нравится 1 человек

  6. Yes, if we minimize the “fake” component and introduce technology into the legislative field, it will provide tremendous opportunities for use for the benefit of a person. After all, this technology can be applied in almost all areas from simple design to complex modeling.

    Нравится 1 человек

Добавить комментарий

Заполните поля или щелкните по значку, чтобы оставить свой комментарий:

Логотип WordPress.com

Для комментария используется ваша учётная запись WordPress.com. Выход /  Изменить )

Google photo

Для комментария используется ваша учётная запись Google. Выход /  Изменить )

Фотография Twitter

Для комментария используется ваша учётная запись Twitter. Выход /  Изменить )

Фотография Facebook

Для комментария используется ваша учётная запись Facebook. Выход /  Изменить )

Connecting to %s