Haberler
ByteDance’in yeni yapay zeka modeli, hareketsiz görüntüleri sesle canlandırıyor
TikTok’un ana şirketi Bytedance’daki araştırmacılar, “dinleyici” ve “konuşmacı” rollerini manuel olarak atamak zorunda kalmadan iki kişi arasındaki konuşmalar için gerçekçi diyalog videoları oluşturabilen INFP adlı bir yapay zeka çerçevesi geliştirdiler.
TikTok’un ana şirketi ByteDance, statik portre fotoğraflarının konuşuyor gibi görünmesini ve ses girdisine tepki vermesini sağlayabilen INFP adlı bir yapay zeka sistemi geliştirdi.
INFP’yi (“İnteraktif, Doğal, Flash ve Kişi jenerik” anlamına geliyor) diğerlerinden ayıran şey, kimsenin konuşma ve dinleme rollerini manuel olarak atamasına gerek kalmadan iki kişi arasında gerçekçi konuşma videoları oluşturma yeteneğidir. Sistem, konuşma aktıkça bu rolleri otomatik olarak belirliyor.
Sistem iki ana adımda çalışıyor. ByteDance’in “Hareket Tabanlı Kafa Taklidi” adını verdiği ilk adımda yapay zeka, insanların iletişim kurma biçimlerinin tüm küçük ayrıntılarını (yüz ifadeleri ve konuşmalar sırasında başlarını hareket ettirme biçimleri gibi) algılamayı öğreniyor. Bu hareketleri videolardan alıyor ve daha sonra kullanabileceği verilere dönüştürüyor. Bu hareket verileri daha sonra hareketsiz bir fotoğrafı orijinal kişinin hareketleriyle eşleşecek şekilde canlandırabilir.
İkinci aşama olan “ses rehberli hareket üretimi ”nde sistem, sesleri doğal görünümlü hareketlerle nasıl eşleştireceğini buluyor. Ekip, bir konuşmanın her iki tarafından gelen sesi analiz ederek hem konuşma hem de dinleme için kalıplar oluşturan ve “hareket yönlendirici” olarak adlandırdıkları bir sistem geliştirdi. Daha sonra, difüzyon transformatörü adı verilen özel bir yapay zeka bileşeni bu kalıpları alıyor ve yavaş yavaş sese uyan pürüzsüz, gerçekçi hareketlere dönüştürüyor.
İlk adımda, konuşma videolarından hareket kalıpları çıkarılır; ikinci adımda, bu hareketler ses girişi ile kontrol edilir. | Resim: Bytedance
Yapay zekaya gerçek konuşmaların nasıl işlediğini öğretmek
Sistemlerini düzgün bir şekilde eğitmek için ekibin yeni bir şey inşa etmesi gerekiyordu: DyConv adını verdikleri gerçek dünya konuşmalarından oluşan bir koleksiyon. İnternet üzerindeki videolardan 200 saatin üzerinde birbiriyle konuşan insan görüntüsü topladılar.
ViCo ve RealTalk gibi başka konuşma veritabanları olsa da, ekip DyConv’un özel bir şey sunduğunu söylüyor; daha geniş bir yelpazede insan duygularını ve ifadelerini yakalıyor ve video kalitesi önemli ölçüde daha iyi.
Siyah ve mavi ses dalga formları konuşma partnerlerinin konuşma kısımlarını temsil ederken, görüntü dizileri de karşılık gelen oluşturulmuş hareket modellerini göstermektedir. | Resim: Bytedance
ByteDance, sisteminin birkaç temel alanda mevcut araçlardan daha iyi performans gösterdiğini söylüyor. INFP özellikle dudak hareketlerini konuşmayla eşleştirmede, kişinin benzersiz yüz özelliklerini korumada ve çok çeşitli doğal görünümlü hareketler oluşturmada başarılı. Ekip ayrıca, sadece bir konuşmayı dinleyen birinin videolarını oluşturmak için de iyi çalıştığını keşfetti.
INFP için sırada ne var
Şu anda INFP yalnızca sesle çalışıyor, ancak ekip yeteneklerini genişletmek için birçok yol görüyor. Sistemin görüntü ve metinlerle nasıl çalışacağını araştırıyorlar, bu da her türlü yeni olasılığın önünü açacaktır. Bir sonraki hedefleri, insanların sadece kafalarının ve yüz ifadelerinin değil, tüm vücutlarının gerçekçi animasyonlarını oluşturmak.
Araştırmacılar bu tür bir teknolojinin sahte videolar oluşturmak ve yanlış bilgi yaymak için kötüye kullanılabileceğini biliyorlar. Bu nedenle temel teknolojiyi araştırma kurumlarıyla sınırlı tutmayı planlıyorlar – tıpkı Microsoft’un geçen yaz gelişmiş ses klonlama sistemiyle yaptığı gibi.
Bu çalışma, ByteDance’ın bu yılın başlarında duyurduğu daha büyük yapay zeka stratejisinin sadece bir parçası. Portföyünde TikTok ve CapCut gibi popüler uygulamalar bulunan şirket, bu yapay zeka yeniliklerini kullanmak için büyük bir platforma sahip.
Kaynak: The Decoder
Acast, Podcast Pulse raporunun 2026 edisyonunu yayınladı. Başlıca bulgu şu:
“Format tartışması sona erdi. İzleyiciler umursamayarak tartışmayı bitirdiler.”
Kaygısız, evet, ve verilerle destekleniyor. Acast CEO’su Greg Glenday: “Podcast sektörü formatlara ve platformlara takıntılı […] Dinleyiciler böyle düşünmüyor.”
Aşağıda, 49 sayfalık bu basın bülteninin giriş bölümünde yer alan önemli bir ölçüt bulunuyor:
Podcast tüketicileri hakkında iki önemli bulguyu hızla öğreniyoruz:
- “On kişiden dokuzu, en sevdikleri podcast yayıncılarını podcast’in kendisinin ötesinde bir yerlerde takip ediyor […] Podcast yayıncılığı akışkan bir yapıya sahip. Platformlar ve formatlar sadece birer kap görevi görüyor.”
- Sesli/görüntülü içerik tüketici grubu her yıl hızla artıyor; ankete katılan tüketicilerin %88’i artık hem sesli hem de görüntülü podcast dinliyor, bu da geçen yılki ankete göre %78’lik büyük bir artış anlamına geliyor.
Genel olarak podcast tüketiminin, hem dinleme hem de izleme açısından artacağı tahmin ediliyor:
- — %49’u podcast’leri daha sık dinlemeyi bekliyor.
- — %48’i podcast’leri daha sık dinlemeyi bekliyor.
(Şunu da aklınızda bulundurmanızda fayda var: “YouTube’da podcast izlemek” ifadesi , aynı kolaylıkla (ve belki de aynı sıklıkla) YouTube’da podcast dinlemek anlamına da gelebilir.)
İlginç bir şekilde, bu araştırma, tek bir podcast’i dinlerken platformlar arasında geçiş yapan dinleyicileri test etti; katılımcıların %63’ü bunu yaptığını, %75’inin ise bunu yapmak için uygulama veya platform değiştirmek zorunda kaldığını belirtti.
Günün saati de burada önemli bir rol oynuyor: “Ses kayıtları sabah saatlerine, videolar ise gece saatlerine hakim. ‘Öğle arası videoları’ ise öğle saatlerine hakim,” diye öğreniyoruz ki bu da mantıklı.
Ekran olmadan dinleme kısmen bir tercih… ve aynı zamanda bir zorunluluk. Bu şekilde dinleyen katılımcıların %50’si ekranı istemiyor ve %50’si de çeşitli nedenlerle ekrana erişemiyor.
Bu çalışma, video podcast dinlemenin medya sınırlarını aşan reklam fırsatları yarattığına dikkat çekiyor. Bu nokta şu ölçütle vurgulanıyor: “Acast podcast’leri ve içerik oluşturucularının sosyal ağlarda 3,75 milyar takipçisi var.”
Bu kapsamlı sunumda ele alınan diğer konular şunlardır:
- Markalar için canlı podcast yayıncılığının avantajları
- Podcast yayıncılığında marka güveni, diğer birçok medya kategorisine göre daha yüksektir.
- Podcast’lerde dinleyici ilgisi, müzik yayını veya radyoya kıyasla daha yoğundur.
- Podcast’ler “aranan, sunulan değil” şeylerdir.
- Podcast’ler “gerçekleri yansıtır” (bu, yapay zeka çağının bir değeridir).
- Podcast’lerin dinleyici üzerindeki etkisi, tüketici davranışını etkileme söz konusu olduğunda diğer medya türlerine göre “daha etkili”dir.
- Podcast’lerde reklam atlama diğer medya türlerine göre daha az yaygındır.
- Bir markaya tekrar tekrar maruz kalmak markaya zarar vermez; aksine fayda sağlar.
Bu sunum dosyası, 30 saniyelik video podcast reklamları oluşturmaya dair kısa bir eğitim içeriyor.
Araştırmanın orijinaline BURADAN ulaşabilirsiniz.
Kaynak: RainNews
Haberler
YouTube, yeni içerik oluşturma araçlarını ve alışveriş özelliklerini tanıttı
YouTube, New York’ta düzenlenen yıllık Made on YouTube etkinliğinde bir dizi yapay zeka aracı, alışveriş güncellemeleri ve kişiselleştirilmiş izleyici özelliklerini tanıttı.
Haberler
Substack, uygulamasına podcast sekmesi ekledi
Substack, uygulamasında yeni bir podcast sekmesi başlattı. Substack’in eklediği yeni sekme, “Mevcut dinleyicilerinize kolayca ulaşabileceğiniz ve yeni dinleyicilerin sizi bulmasına yardımcı olabileceğiniz özel bir alan” sunuyor.
Podcast yayıncılığındaki “format savaşı” sona mı eriyor?
YouTube, yeni içerik oluşturma araçlarını ve alışveriş özelliklerini tanıttı
Substack, uygulamasına podcast sekmesi ekledi
Araştırma2 yıl öncePopüler podcast yayıncıları sektördeki en büyük zorlukları yorumluyor
- Haberler4 yıl önce
Podcast’ten para kazanmanın 12 yolu
- Etkinlik3 yıl önce
‘Podcast Dinliyorum’ etkinliğinin ikincisi 25 Ekim’de
- Haberler4 yıl önce
Spotify’dan ‘Şişedeki Çalma Listesi’
- Haberler4 yıl önce
Video podcast nedir?
- Araştırma4 yıl önce
Mart ayına Anchor, Buzzsprout ve Spreaker damgası
- Haberler4 yıl önce
Podcast’leri nasıl daha hızlı dinleyebilirsiniz?
- Haberler4 yıl önce
Daniel Ek Spotify’ın büyük vizyonunu anlattı
