OpenAI, gerçekçi, duygusal konuşmalar üretebilen yeni nesil bir “Ses Motoru” tanıttı
OpenAI, daha güvenilir konuşmadan metne dönüştürme ve arka plan gürültüsü ve aksanlar gibi zorlu ses koşullarının daha iyi işlenmesini sağlayan gpt-4o-transcribe ve gpt-4o-mini-transcribe adlı geliştirilmiş ses modellerini yayınladı.
OpenAI, API’sine, şirketin önceki sürümlerini geliştirdiğini iddia ettiği yeni transkripsiyon ve ses üreten yapay zeka modelleri getiriyor.
OpenAI için bu modeller, kullanıcılar adına görevleri bağımsız olarak yerine getirebilen otomatik sistemler oluşturmak anlamına gelen daha geniş “ajan” vizyonuna uyuyor. “Temsilci” tanımı tartışmalı olabilir, ancak OpenAI Ürün Başkanı Olivier Godement bir yorumu, bir işletmenin müşterileriyle konuşabilen bir sohbet robotu olarak tanımladı.
Godement, “Önümüzdeki aylarda giderek daha fazla temsilcinin ortaya çıktığını göreceğiz. Genel tema, müşterilerin ve geliştiricilerin faydalı, kullanılabilir ve doğru aracılardan yararlanmasına yardımcı olmak” dedi.
OpenAI, yeni metinden konuşmaya modeli “gpt-4o-mini-tts ‘nin sadece daha nüanslı ve gerçekçi bir konuşma sunmakla kalmayıp aynı zamanda önceki nesil konuşma sentezleme modellerine göre daha ’yönlendirilebilir” olduğunu iddia ediyor. Geliştiriciler gpt-4o-mini-tts’e doğal dilde bir şeyleri nasıl söyleyeceği konusunda talimat verebiliyor; örneğin, “çılgın bir bilim adamı gibi konuş” veya “bir farkındalık öğretmeni gibi sakin bir ses kullan”.
İşte “gerçek suç tarzı”, yıpranmış bir ses:
OpenAI ürün ekibinin bir üyesi olan Jeff Harris, TechCrunch’a verdiği demeçte, amacın geliştiricilerin hem ses “deneyimini” hem de “bağlamı” uyarlamasına izin vermek olduğunu söyledi.
Harris, “Farklı bağlamlarda, sadece düz, monoton bir ses istemezsiniz. Bir müşteri destek deneyimindeyseniz ve sesin bir hata yaptığı için özür dilemesini istiyorsanız, aslında sesin içinde bu duyguyu barındırmasını sağlayabilirsiniz… Buradaki en büyük inancımız, geliştiricilerin ve kullanıcıların yalnızca ne konuşulduğunu değil, nasıl konuşulduğunu da gerçekten kontrol etmek istedikleridir” dedi.
OpenAI’nin yeni konuşmadan metne modelleri olan “gpt-4o-transcribe” ve “gpt-4o-mini-transcribe” ise şirketin uzun süredir kullandığı Whisper transkripsiyon modelinin yerini alıyor. OpenAI, “çeşitli, yüksek kaliteli ses veri kümeleri” üzerinde eğitilen yeni modellerin kaotik ortamlarda bile aksanlı ve çeşitli konuşmaları daha iyi yakalayabildiğini iddia ediyor.
Harris ayrıca halüsinasyon görme olasılıklarının da daha düşük olduğunu sözlerine ekledi. Whisper, ırkçı yorumlardan hayali tıbbi tedavilere kadar her şeyi transkriptlere ekleyerek, konuşmalarda kelimeleri ve hatta tüm pasajları uydurma eğilimindeydi.
Harris, “Bu modeller bu konuda Whisper’a kıyasla çok daha gelişmiş durumda. Modellerin doğru olduğundan emin olmak, güvenilir bir ses deneyimi elde etmek için tamamen önemlidir ve [bu bağlamda] doğru olması, modellerin kelimeleri tam olarak duydukları [ve] duymadıkları ayrıntıları doldurmadıkları anlamına gelir” diye konuştu.
Bununla birlikte, kat ettiğiniz mesafe yazıya dökülen dile bağlı olarak değişebilir.
OpenAI’nin dahili kıyaslamalarına göre, iki transkripsiyon modelinden daha doğru olan gpt-4o-transcribe, Tamil, Telugu, Malayalam ve Kannada gibi Indic ve Dravidian dilleri için %30’a yaklaşan (%120 üzerinden) bir “kelime hata oranına” sahip. Bu, modelden alınan her 10 kelimeden üçünün bu dillerde insan transkripsiyonundan farklı olacağı anlamına gelir.
OpenAI, geleneği bozarak yeni transkripsiyon modellerini açık bir şekilde kullanıma sunmayı planlamıyor. Şirket geçmişte Whisper’ın yeni sürümlerini MIT lisansı altında ticari kullanım için yayınlamıştı.
GPT-4o-transcribe ve gpt-4o-mini-transcribe’ın “Whisper’dan çok daha büyük” olduğunu ve bu nedenle açık bir sürüm için iyi adaylar olmadığını söyleyen Harris, “Whisper gibi dizüstü bilgisayarınızda yerel olarak çalıştırabileceğiniz türden bir model değiller. Bir şeyleri açık kaynak olarak yayınlıyorsak, bunu düşünceli bir şekilde yaptığımızdan ve bu özel ihtiyaç için gerçekten geliştirilmiş bir modele sahip olduğumuzdan emin olmak istiyoruz. Ve son kullanıcı cihazlarının açık kaynak modelleri için en ilginç durumlardan biri olduğunu düşünüyoruz” dedi.
Spotify, kullanıcıların ilgi alanlarına ve dinleme alışkanlıklarına göre yapay zeka desteğiyle doğrudan Spotify içinde podcast oluşturmalarına olanak tanıyan kişisel podcast özelliğini duyurdu. Yeni özellik kapsamında Spotify, “Günlük şehir güncellemelerimi paylaş ve sevdiğim sanatçıların yerel konserleri hakkında bilgi ver” gibi istemlere dayanarak sesli içerik oluşturacak.
Spotify, platformuna daha fazla yapay zeka özelliği eklerken, yakında kullanıcıların kendi podcast’lerini oluşturmalarına olanak tanıyacağını duyurdu.
Spotify, Perşembe günü düzenlediği yatırımcı gününde, kullanıcıların ilgi alanlarına ve dinleme alışkanlıklarına göre doğrudan Spotify içinde podcast oluşturmalarına olanak tanıyan kişisel podcast özelliğini duyurdu. Bu özellik, kullanıcıların Spotify’a bir istek yazması ve Spotify’ın da bu isteğe göre ses dosyaları oluşturması prensibine dayanan mevcut “İstekli Çalma Listeleri” bölümüne benzer bir mekanizma izliyecek.
Spotify şu örneği verdi:
“Günlük bir özet, merak ettiğiniz bir konu hakkında derinlemesine bir inceleme veya aklınızdaki her şeyin haftalık bir özetini oluşturabilirsiniz. ‘Günlük şehir güncellemelerimi paylaş ve sevdiğim sanatçıların yerel konserlerinden bahset’ veya ‘Ekonomiyi beş dakikada anlamama yardımcı ol’ gibi isteklerde bulunun ve Spotify, size özel bir sesli özet oluştururken, daha fazlasını keşfedebileceğiniz ilgili bölümlere, programlara ve içerik oluşturuculara da bağlantı verecektir.”
Kullanıcılar daha sonra bu podcast’leri günlük veya haftalık olarak tekrar edecek şekilde planlayabilir, bir ses seçebilir ve ek metin, PDF veya bağlantılar aracılığıyla daha fazla bağlam ekleyebilirler. Bölümler yalnızca her bireyin kendi kütüphanesi aracılığıyla erişilebilir durumda.
Kişisel podcast’ler, önümüzdeki aydan itibaren ABD’deki uygun premium kullanıcılara sunulacak ve belirli sayıda aylık kredi içerecek, ayrıca daha fazla kredi satın alma seçeneği de sunulacak. Spotify ayrıca Perşembe günü, kullanıcıların dinledikleri podcast’ler hakkında Spotify’a sorular sormasına ve yanıt almasına olanak tanıyan yeni bir özellik yayınlayacağını duyurdu.
Spotify’ın eş CEO’su Gustav Söderström, yatırımcı sunumunda şunları söyledi:
“Deneyimin sadece bir katalogdan seçilmediği, her bir kullanıcımız tarafından gerçek zamanlı olarak, zevklerine, bağlamlarına ve niyetlerine göre şekillendirildiği bir Nesil Çağına giriyoruz… Bugün, hem kamuya açık hem de özel içerik için (veya başka bir deyişle) üretken çağ için bir medya oynatıcı yok. Spotify’ın bunu başaracağına inanıyoruz.”
Ayrıca Spotify, podcast içerik üreticilerinin Spotify’daki en ilgili hayranlarından doğrudan düzenli gelir elde etmelerini sağlayan bir yol olarak içerik üretici sponsorluklarını da tanıttı. Şirket ayrıca, podcast ses dosyaları oluşturmak ve kullanıcının takvimine, gelen kutusuna ve notlarına bağlanmak için kullanılabilen bağımsız bir masaüstü uygulaması olan Studio by Spotify Labs‘ı da tanıttı.
Bu özelliklere ek olarak Spotify, biletler satışa çıkmadan önce Spotify Premium sahibi sadık hayranları için iki konser biletini ayıracağını ve premium abonelerin şarkıların yapay zeka tarafından oluşturulmuş cover ve remixlerini yapmasına izin vereceğini duyurdu.
Spotify’ın Megaphone ve Spotify for Creators hizmetleri, Apple Podcasts’te yayınlanan podcast’ler için video desteğini sunacak. Apple bu yılın başlarında HLS video desteğini duyurduğunda, bu iki şirket HLS video desteğini açıklamayan tek büyük podcast barındırma platformuydu. Henüz bir fiyatlandırma açıklanmadı. Ancak bu, Spotify’da videoların işleyişini değiştirmiyor: Şirket, videoların Spotify uygulamasında oynatılabilmesi için hâlâ doğrudan yüklenmesini şart koşuyor.
Şirket ayrıca Spotify Video Distribution (podcast barındırma hizmetinizin sizin adınıza videoları doğrudan Spotify’a yüklemesini sağlayan hizmet) için canlı ortaklarını da duyurdu. Libsyn, Podigee, Audioboom, Audiomeans ve Podspace bu özelliği kullanıma sundu. Spotify Video Distribution, Ocak ayında duyurulmuştu; o zaman Acast ve Omny Studio, lansman ortakları olarak öne çıkarılmıştı, ancak henüz yayında değiller. Spotify, SSS bölümünde artık, fikrinizi değiştirirseniz programınızı tekrar sadece ses içeren bir RSS beslemesine geçirebileceğinizi açıkça belirtiyor; ancak şirket, tüm video yüklemelerinizi kaybedeceğinizi uyarıyor.
Spotify, yapay zeka tarafından üretilen kişiselleştirilmiş ses içeriklerinin merkezi olmayı hedefliyor
Spotify, OpenAI’nin Codex’i, Anthropic’in Claude Code’u veya OpenClaw gibi bir araç kullanılarak ve yine Spotify’ın beta aşamasındaki yeni CLI aracını kullanarak podcast oluşturulabileceğini ve daha sonra dinlemek üzere Spotify’a aktarılabileceğini duyurdu.
Son birkaç yıldır, Google’ın NotebookLM, Hero ve son zamanlarda Adobe Acrobat gibi uygulamaları, kullanıcılara belgeler, günlük programlar ve makaleler gibi mevcut materyallere dayalı podcast’ler oluşturma olanağı sağladı. Şimdi Spotify da bu podcast’lere uygulaması içinden erişmenize izin veriyor, ancak bunu yapmak için bazı programlama araçlarına ihtiyacınız olacak.
Şirket, OpenAI’nin Codex’i, Anthropic’in Claude Code’u veya OpenClaw gibi bir araç kullanıyorsanız, Spotify’ın beta aşamasındaki yeni CLI aracını kullanarak podcast oluşturabileceğinizi ve daha sonra dinlemek üzere Spotify’a aktarabileceğinizi belirtti.
Şirket bir blog yazısında, “İnsanlar şimdiden asistanlarını kullanarak günlerini yönlendiren kişisel ses kayıtları oluşturmaya başladılar: sınav öncesi ders notlarının özetlerinden takvimlerindeki etkinliklerin bilgilendirmelerine kadar. Ve zaten her şeyi dinledikleri Spotify’da bunları da dinlemenin bir yolunu istiyorlar” dedi .
Podcast’ler, kolay erişim için kullanıcının Spotify kütüphanesinde görünecek ancak diğer Spotify kullanıcıları tarafından erişilemeyecek.
Yeni özellikten yararlanmak için kullanıcılar aracın GitHub sayfasına gidip oradaki talimatları takip edebilirler. Ardından, bir tarayıcı aracılığıyla Spotify hesaplarına giriş yapmaları istenecektir.
Bundan sonra, “Bana Dünya Kupası’nın tarihine derinlemesine inen, önemli oyuncular, nerede düzenlendiği ve bu yılki maçlar hakkında bilmem gerekenler hakkında detaylar içeren bir ses kaydı oluşturun” gibi bir istek yazabilir ve ajansdan bir podcast oluşturmasını ve Spotify’a kaydetmesini isteyebilirler. Kullanıcılar ayrıca podcast’lerinin Spotify listesine bir bağlantı da alacaklardır.