O iOS 15 foi anunciado em junho e, dentre as suas diversas novidades, o aplicativo Fotos ganhou uma boa atualização. A busca por imagens pelo Spotlight, o reconhecimento de textos em imagens (Live Text), a integração do Apple Music com as Memórias e a exibição de metadados EXIF são algumas dessas novidades.
No entanto, diante de tantas mudanças, há algo que pode ter passado despercebido por muitas pessoas: o reconhecimento aprimorado de pessoas em fotos.
Neste ano, a Apple melhorou o software de reconhecimento de rostos, a fim de melhorar ainda mais a experiência de usuários. Sabe quando o app Fotos ou as Memórias lhe sugerem imagens com determinadas pessoas, incluindo até o nome delas? Bom, esse reconhecimento acontece totalmente em plano de fundo no sistema e, agora, a Apple detalhou um pouco melhor como ele acontece.
Aprendizado de máquina
Você certamente já ouviu falar de aprendizado de máquina (ou machine learning), e o Fotos usa exatamente isso! Há uma série de algoritmos de aprendizado de máquina, executados de forma totalmente privada no seu dispositivo, para ajudar a selecionar e organizar imagens, Live Photos e vídeos da sua biblioteca.
O algoritmo do Fotos coleta informações de identidade das pessoas pra construir um banco de informações totalmente privado e local, o qual identifica padrões em suas fotos; esses padrões podem ser grupos de pessoas específicas, lugares frequentes, viagens anteriores, eventos, a última vez que um usuário tirou uma imagem de uma certa pessoa e muito mais.
Esse banco de dados provê informações para diversos recursos do app, incluindo as Memórias, fotos em destaque e até a opção de ocultar pessoas indesejadas nas Memórias.
Reconhecimento por outros fatores
A tarefa de reconhecer pessoas pode ser difícil, uma vez que existe uma variedade imensa de cenários nos quais as fotos podem ter sido tiradas. As pessoas podem aparecer em escalas, iluminação, pose e expressões diferentes… e as imagens podem ser capturadas por qualquer câmera.
Para que o app identifique a pessoa mesmo em diferentes ocasiões, o “banco de conhecimento de pessoas” é necessário, já que ele analisa até as fotos nas quais o indivíduo não está posando ou sequer olhando para a foto.
Mesmo após a construção dessa galeria de pessoas, o app continua constantemente aprendendo novas identidades e atribuindo informações a cada uma delas. Tanto indivíduos conhecidos como desconhecidos ficam sempre em observação, e podem ser identificados usando somente o rosto — ou até combinando o rosto com o corpo, roupas e outras características. Isso é extremamente útil para discernir pessoas com rostos obstruídos ou até cortados da foto.
Como qualquer algoritmo, ele vai aprendendo com o tempo e, mesmo que as pessoas mudem de aparência, ele consegue reconhecê-las, uma vez que o app armazena fotos de períodos e situações abrangentes.
E as máscaras?
Com a normalização do uso de máscaras frente à pandemia da COVID-19, o algoritmo precisou ser alterado e treinado para reconhecer pessoas usando o adereço por cima do rosto.
Quando uma máscara é detectada, o algoritmo dá prioridade a outros atributos que não aqueles cobertos pelo tecido, como a parte superior do rosto, o corpo, as roupas e até a data, a hora e o local em que a foto foi tirada.
Todas essas tecnologias permitem que o Fotos identifique pessoas em situações, poses, ângulos e iluminações mais incomuns. Tudo isso é feito de forma totalmente local e segura, com a ajuda do Neural Engine.
Por enquanto, o iOS 15 ainda está na fase de testes e deverá ser disponibilizado a todos por volta de setembro/outubro. Aí, poderemos experimentar todas essas melhorias proporcionadas pelo aprendizado de máquina em nossas fotos.
Nessa página, você encontra informações mais detalhadas sobre o recurso. Interessante, não?
via MacRumors
