Haberler
ByteDance’in yeni yapay zeka modeli, hareketsiz görüntüleri sesle canlandırıyor
TikTok’un ana şirketi Bytedance’daki araştırmacılar, “dinleyici” ve “konuşmacı” rollerini manuel olarak atamak zorunda kalmadan iki kişi arasındaki konuşmalar için gerçekçi diyalog videoları oluşturabilen INFP adlı bir yapay zeka çerçevesi geliştirdiler.
TikTok’un ana şirketi ByteDance, statik portre fotoğraflarının konuşuyor gibi görünmesini ve ses girdisine tepki vermesini sağlayabilen INFP adlı bir yapay zeka sistemi geliştirdi.
INFP’yi (“İnteraktif, Doğal, Flash ve Kişi jenerik” anlamına geliyor) diğerlerinden ayıran şey, kimsenin konuşma ve dinleme rollerini manuel olarak atamasına gerek kalmadan iki kişi arasında gerçekçi konuşma videoları oluşturma yeteneğidir. Sistem, konuşma aktıkça bu rolleri otomatik olarak belirliyor.
Sistem iki ana adımda çalışıyor. ByteDance’in “Hareket Tabanlı Kafa Taklidi” adını verdiği ilk adımda yapay zeka, insanların iletişim kurma biçimlerinin tüm küçük ayrıntılarını (yüz ifadeleri ve konuşmalar sırasında başlarını hareket ettirme biçimleri gibi) algılamayı öğreniyor. Bu hareketleri videolardan alıyor ve daha sonra kullanabileceği verilere dönüştürüyor. Bu hareket verileri daha sonra hareketsiz bir fotoğrafı orijinal kişinin hareketleriyle eşleşecek şekilde canlandırabilir.
İkinci aşama olan “ses rehberli hareket üretimi ”nde sistem, sesleri doğal görünümlü hareketlerle nasıl eşleştireceğini buluyor. Ekip, bir konuşmanın her iki tarafından gelen sesi analiz ederek hem konuşma hem de dinleme için kalıplar oluşturan ve “hareket yönlendirici” olarak adlandırdıkları bir sistem geliştirdi. Daha sonra, difüzyon transformatörü adı verilen özel bir yapay zeka bileşeni bu kalıpları alıyor ve yavaş yavaş sese uyan pürüzsüz, gerçekçi hareketlere dönüştürüyor.
İlk adımda, konuşma videolarından hareket kalıpları çıkarılır; ikinci adımda, bu hareketler ses girişi ile kontrol edilir. | Resim: Bytedance
Yapay zekaya gerçek konuşmaların nasıl işlediğini öğretmek
Sistemlerini düzgün bir şekilde eğitmek için ekibin yeni bir şey inşa etmesi gerekiyordu: DyConv adını verdikleri gerçek dünya konuşmalarından oluşan bir koleksiyon. İnternet üzerindeki videolardan 200 saatin üzerinde birbiriyle konuşan insan görüntüsü topladılar.
ViCo ve RealTalk gibi başka konuşma veritabanları olsa da, ekip DyConv’un özel bir şey sunduğunu söylüyor; daha geniş bir yelpazede insan duygularını ve ifadelerini yakalıyor ve video kalitesi önemli ölçüde daha iyi.
Siyah ve mavi ses dalga formları konuşma partnerlerinin konuşma kısımlarını temsil ederken, görüntü dizileri de karşılık gelen oluşturulmuş hareket modellerini göstermektedir. | Resim: Bytedance
ByteDance, sisteminin birkaç temel alanda mevcut araçlardan daha iyi performans gösterdiğini söylüyor. INFP özellikle dudak hareketlerini konuşmayla eşleştirmede, kişinin benzersiz yüz özelliklerini korumada ve çok çeşitli doğal görünümlü hareketler oluşturmada başarılı. Ekip ayrıca, sadece bir konuşmayı dinleyen birinin videolarını oluşturmak için de iyi çalıştığını keşfetti.
INFP için sırada ne var
Şu anda INFP yalnızca sesle çalışıyor, ancak ekip yeteneklerini genişletmek için birçok yol görüyor. Sistemin görüntü ve metinlerle nasıl çalışacağını araştırıyorlar, bu da her türlü yeni olasılığın önünü açacaktır. Bir sonraki hedefleri, insanların sadece kafalarının ve yüz ifadelerinin değil, tüm vücutlarının gerçekçi animasyonlarını oluşturmak.
Araştırmacılar bu tür bir teknolojinin sahte videolar oluşturmak ve yanlış bilgi yaymak için kötüye kullanılabileceğini biliyorlar. Bu nedenle temel teknolojiyi araştırma kurumlarıyla sınırlı tutmayı planlıyorlar – tıpkı Microsoft’un geçen yaz gelişmiş ses klonlama sistemiyle yaptığı gibi.
Bu çalışma, ByteDance’ın bu yılın başlarında duyurduğu daha büyük yapay zeka stratejisinin sadece bir parçası. Portföyünde TikTok ve CapCut gibi popüler uygulamalar bulunan şirket, bu yapay zeka yeniliklerini kullanmak için büyük bir platforma sahip.
Kaynak: The Decoder
Haberler
YouTube, yapay zeka tarafından konumlandırılmış “yoğun anlar” ile mikro reklam yerleştirmeye başlıyor
Yapay zeka, YouTube’un reklamverenlere yönelik son adımında hiper-hassas reklam yerleşimi ile buluşuyor. YouTube, videolarda en yüksek etkileşime sahip olan ya da duygusal olarak etkili olan anlar olan “Zirve Noktaları” adı verilen bir şeyin yapay zeka değerlendirmesine dayanan yeni bir reklam yerleştirme şemasını duyurdu.
Araştırma
Yapay zeka: İçerik ve reklamcılıkta isteğe bağlı değil
Yapay zeka destekli ses stüdyosu Wondercraft, içerik oluşturucuların, pazarlamacıların, eğitimcilerin ve ekiplerin yapay zekayı nasıl kullandıklarını anlamayı amaçlayan bir rapor olan AI in Content Creation 2025’i yayınladı.
Yapay zeka destekli ses stüdyosu Wondercraft, içerik oluşturucuların, pazarlamacıların, eğitimcilerin ve ekiplerin yapay zekayı nasıl kullandıklarını anlamayı amaçlayan bir rapor olan AI in Content Creation 2025’i yayınladı. Bilgiler VEED, Luma ve ElevanLabs’ın desteğiyle gerçekleştirilen 2025 anketine dayanıyor. Dünya Ekonomik Forumu, McKinsey, Gartner, Deloitte, LinkedIn ve Pew Araştırma Merkezi’nin araştırmaları da dahil olmak üzere bir dizi başka rapora da atıfta bulunuluyor.
İsteğe Bağlı Değil
Buradaki temel önerme, yapay zekanın içerik oluşturmada bir tercih değil, temel bir unsur haline geldiği. Anahtar bulgu: Katılımcıların %80’inden fazlası yaratıcı sürecin bazı yönlerinde yapay zeka kullanıyor. Zamandan tasarruf etmek, yapay zeka kullanımı için önde gelen motivasyon. ABD’de benimsenme oranı biraz daha yüksek olmakla birlikte bu eğilim küresel.
“Pek çok içerik üreticisi için yapay zeka yalnızca işlerini daha hızlı halletmelerini sağlayan bir araç değil. Fikirleri keşfetme, içerikleri farklı formatlara uyarlama ve daha kişiselleştirilmiş, ölçeklenebilir deneyimler oluşturma yöntemlerinin bir parçası. Bu da yapay zekanın yalnızca bir üretkenlik aracı olmaktan çıkıp yaratıcı bir yardımcı pilot haline geldiği görüşünü destekliyor.”
Bu raporda ses, YZ yaratıcılığının yalnızca yüzde dokuzunu oluştururken, video %52 ile başı çekiyor. Ancak sesten videoya projelerin yükselişi, yapay zekayı giderek daha fazla ses alanına taşıyor. YZ, çoklu medya türlerindeki yaratıcılıkta “bağlayıcı doku” olarak tanımlanıyor.
Reklamcılıkta Yapay Zeka
Wondercraft anketi, reklam yaratıcılarının ve ajans ekiplerinin içerik üretmek, test etmek ve hızlı bir şekilde uyarlamak için yapay zekaya güvendiğini ortaya koyuyor; katılımcıların %85’i bu bulguyu doğruladı. üç ana kullanım belgelenmiştir:
- Reklamlar için senaryolu seslendirmeler
- Yerelleştirilmiş sosyal medya içeriği
- Daha uzun web seminerleri ve röportajlardan elde edilen kısa biçimli videolar.
Bu ekipler, kampanya başına üç ila beş yapay zeka aracı kullanan “çok modlu” uzmanlar olarak tanımlanıyor.
Daha geniş bir bağlamda McKinsey, kuruluşların %78’inin en az bir iş fonksiyonunda yapay zeka kullandığını tespit etti.
Yapay Zeka Kullanım Dağılımı
Wondercraft, anket katılımcılarına göre yapay zekanın uygulandığı medya türlerinin bir dökümünü sunuyor. Aşağıda gösterildiği gibi, medya türleri arasında oldukça eşit bir dağılım var:
Kapsamlı rapora BURADAN ulaşabilirsiniz…
Kaynak: RainNews
Haberler
Podcast’inizi kaydederken yaka mikrofonu kullanmalı mısınız?
Podcast kayıtlarında yaka mikrofonu kullanmalı mı? Yaka mikrofonlarının artısı ve eksisi neler? Hangi durumlarda yaka mikrofonu kullanılabilir? Tüm bu soruların yanıtını Rachel Corbett yazıyor…
YouTube, yapay zeka tarafından konumlandırılmış “yoğun anlar” ile mikro reklam yerleştirmeye başlıyor
Yapay zeka: İçerik ve reklamcılıkta isteğe bağlı değil
Podcast’inizi kaydederken yaka mikrofonu kullanmalı mısınız?
Haberler3 yıl öncePodcast’ten para kazanmanın 12 yolu
- Haberler2 yıl önce
Spotify’dan ‘Şişedeki Çalma Listesi’
- Etkinlik2 yıl önce
‘Podcast Dinliyorum’ etkinliğinin ikincisi 25 Ekim’de
- Araştırma3 yıl önce
Mart ayına Anchor, Buzzsprout ve Spreaker damgası
- Araştırma9 ay önce
Popüler podcast yayıncıları sektördeki en büyük zorlukları yorumluyor
- Haberler3 yıl önce
Video podcast nedir?
- Haberler3 yıl önce
Podcast’leri nasıl daha hızlı dinleyebilirsiniz?
- Haberler3 yıl önce
Daniel Ek Spotify’ın büyük vizyonunu anlattı
