Kaliforniya merkezli start-up Sesame AI, daha gerçekçi diyaloglar oluşturmak için mikro duraklamalar, tonlama ve kahkaha gibi kasıtlı kusurları kullanan bir konuşma modeli geliştirdi.
Kaliforniya merkezli bir startup olan Sesame AI, konuşma çıktısına kasıtlı olarak kusurları dahil ederek sesli yapay zekaya alışılmadık bir yaklaşım getiriyor. Yeni modelleri, daha otantik diyaloglara ve yapay zeka sistemlerinde “ses varlığı” olarak adlandırdıkları şeye doğru erken bir adımı temsil ediyor.
İlk testlere göre, Sesame’ın en etkileyici özellikleri, konuşmalar sırasında mikro duraklamalar, vurgu değişimleri ve kahkahalar gibi ince unsurlar. Bir etkileşimde, Sesame’in avatarı Maya, bir kullanıcının ani kıkırdamasına gerçek zamanlı olarak yanıt vererek duygusal farkındalık gösterdi.
Sistem, cümle ortasında kendi kendini düzeltme, kesintiler için özür dileme ve dolgu sözcükleri gibi insan benzeri davranışları kasıtlı olarak içeriyor. Techradar bu kasıtlı kusurları özellikle övdü ve ChatGPT veya Gemini’nin cilalı kurumsal tonundan ne kadar farklı olduklarına dikkat çekti.
İş stresi veya parti planlaması hakkındaki tartışmalar gibi simüle edilmiş senaryolarda, sistem genel ifadelere geri dönmek yerine bağlama uygun yanıtlar ve sorular sağladı.
Sesame AI semantik ve akustik belirteçleri kullanıyor
Henüz resmi bir makale yayınlanmamış olsa da, Sesame’in blog yazısı mimarileri hakkında fikir veriyor. CSM, temel işleme için bir omurga transformatörünü (1-8 milyar parametre) ses üretimi için daha küçük bir kod çözücü (100-300 milyon parametre) ile birleştiren iki parçalı bir transformatör yapısı kullanıyor.
Sistem, perde ve vurgu gibi ses özellikleri için akustik belirteçlerin yanı sıra dilsel özellikler ve fonetik için semantik belirteçler kullanarak konuşmayı işliyor. Eğitimi optimize etmek için, ses kod çözücü ses karelerinin yalnızca on altıda biri üzerinde eğitilirken, anlamsal işleme tüm veri kümesini kullanıyor.
Model, beş dönem boyunca bir milyon saatlik İngilizce ses verisi üzerinde eğitildi. Uçtan uca bir mimaride 2.048 jetona kadar (yaklaşık iki dakikalık ses) dizileri işleyebiliyor. Bu yaklaşım, metin ve sesi entegre bir şekilde işlemesiyle geleneksel metinden sese sistemlerinden ayrılıyor.
Blog yazısında doğrudan belirtilmese de demo ses, Google’ın açık kaynaklı LLM Gemma’sının 27 milyar parametreli bir versiyonunu kullandığını ortaya koyuyor.
Testler insana yakın performans ortaya koyuyor
Sesame ile yapılan kör testlerde, katılımcılar kısa konuşma parçacıkları sırasında CSM ile gerçek insanlar arasında ayrım yapamadı. Bununla birlikte, daha uzun diyaloglar, zaman zaman doğal olmayan duraklamalar ve ses artefaktları gibi sınırlamaları ortaya çıkardı.
Sesame, model performansını ölçmek için özel fonetik kıyaslamalar geliştirdi. Dinleme testlerinde, katılımcılar üretilen konuşmayı bağlam olmadan duyduklarında gerçek kayıtlara eşdeğer olarak değerlendirdiler, ancak bağlam sağlandığında orijinali tercih etmeye devam ettiler.
Deneklerin yapay zeka tarafından üretilen konuşma tercihi neredeyse insani seviyelere ulaşıyor. | Resim: Sesame AI
Gelecekteki gelişmeler ve açık kaynak planları
Sesame, araştırmalarının temel bileşenlerini Apache 2.0 lisansı altında açık kaynak olarak yayınlamayı planlıyor. Önümüzdeki aylarda, hem model boyutunu hem de eğitim kapsamını büyütmeyi ve 20’den fazla dile genişletmeyi planlıyorlar.
Şirket özellikle önceden eğitilmiş dil modellerini entegre etmeye ve konuşmacı geçişleri, duraklamalar ve hızlanma gibi konuşma dinamiklerini doğrudan verilerden öğrenebilen tam çift yönlü yetenekli sistemler geliştirmeye odaklanıyor. Bu gelişme, veri küratörlüğünden eğitim sonrası yöntemlere kadar işleme hattı boyunca temel değişiklikler gerektirecek.
Geliştiriciler, “Sesli varlığa sahip dijital bir yol arkadaşı oluşturmak kolay değil, ancak kişilik, hafıza, ifade ve uygunluk dahil olmak üzere birçok cephede istikrarlı bir ilerleme kaydediyoruz” diyor.
Eski Oculus CTO’su Brendan Iribe ve ekibi tarafından kurulan Sesame AI, Andreessen Horowitz liderliğinde önemli bir A Serisi fon sağladı. Bir demo mevcut.
Doğal yapay zeka seslerinin asistanların benimsenmesi üzerindeki etkisi, ChatGPT’nin Gelişmiş Ses Modu etrafındaki heyecanla kanıtlandı. LLM’ler tarafından desteklenen sesli asistanların, Amazon’un Alexa+’ı piyasaya sürmesinin de gösterdiği gibi, giderek daha yaygın hale gelmesi muhtemel.
Danimarka, insanların kendi özelliklerini telif hakkıyla korumayı planlıyor
Danimarka hükümeti, vatandaşlarına kendi bedenleri, yüz özellikleri ve sesleri üzerinde hak sahibi olmalarını sağlamak için telif hakkı yasasını değiştirmeye hazırlanıyor. Bu dönüm noktası niteliğindeki yasa, deepfake’lerin oluşturulması ve yayılmasına karşı korumayı güçlendirmek için tasarlandı.
Danimarka hükümeti, vatandaşlarına kendi bedenleri, yüz özellikleri ve sesleri üzerinde hak sahibi olmalarını sağlamak için telif hakkı yasasını değiştirmeye hazırlanıyor. The Guardian’ın haberine göre, bu dönüm noktası niteliğindeki yasa, deepfake’lerin oluşturulması ve yayılmasına karşı korumayı güçlendirmek için tasarlandı.
Danimarka Kültür Bakanlığı, mevcut yasayı değiştirmek için bir öneri sunması gerekse de, kurum şimdiden tüm partilerin desteğini almayı başardı.
Danimarka Kültür Bakanı Jakob Engel-Schmidt, The Guardian gazetesine verdiği demeçte, “Tasarıda, herkesin kendi bedeni, kendi sesi ve kendi yüz özellikleri üzerinde hak sahibi olduğu konusunda hemfikiriz ve bu konuda net bir mesaj veriyoruz. Ancak mevcut yasa, insanları yapay zeka ile üretilen içeriklere karşı bu şekilde korumuyor” dedi.
ABD’de, birkaç eyalet, seçimler sırasında kötüye kullanım ve rıza dışı cinsel içerikle ilgili derin sahtecilik yasalarını kabul etti. Kongre, eyaletlerin yapay zekayı 10 yıl boyunca düzenleme yetkisini elinden alacak yeni bir bütçe uzlaşma tasarısını değerlendirirken, bu yasaların çoğu şu anda risk altında.
Meta, ses klonlama girişimi Play AI’ı satın almaya hazırlanıyor
Meta, yapay zeka araştırma yetenek havuzunu güçlendirmenin yanı sıra, tüketiciye yönelik yapay zeka özelliklerini de geliştirmeye istekli görünüyor. Şirket, Play AI adlı bir ses klonlama girişimini satın almak için görüşmeler yürütüyor.
Meta, yapay zeka araştırma yetenek havuzunu güçlendirmenin yanı sıra, tüketiciye yönelik yapay zeka özelliklerini de geliştirmeye istekli görünüyor. Bloomberg’in haberine göre şirket, Play AI adlı bir ses klonlama girişimini satın almak için görüşmeler yürütüyor.
Habere göre teknoloji devi, girişimin teknolojisini satın almayı ve bazı çalışanlarını bünyesine katmayı hedefliyor.
Play AI, web sitesine göre, herkesin müşteri hizmetleri gibi AI destekli kullanım durumları için kullanabileceği farklı türde sesleri klonlamasına olanak tanıyor. Crunchbase’e göre, bu girişim toplamda 23,5 milyon dolar fon topladı ve yatırımcıları arasında 500 Global, Kindred Ventures, Race Capital ve Soma Capital bulunuyor.
Meta şu anda sosyal platformlarındaki içerik oluşturucuların kendi sohbet robotlarını oluşturmalarına izin veriyor ve Meta AI sohbet robotuna video düzenleme özellikleri ekledi. Bir ses girişimini satın almak, şirketin yaratıcı paketine ses özellikleri eklemesine olanak tanıyacak.
ElevenLabs, yapay zeka özelliklerine sahip mobil uygulamasını başlattı
Sesli yapay zeka şirketi ElevenLabs, iOS ve Android için kullanıcıların hareket halindeyken metinden ses klipleri oluşturmasına olanak tanıyan, etiketler aracılığıyla ifade kontrolü ve popüler içerik oluşturma uygulamalarıyla sorunsuz entegrasyon sağlayan en yeni v3 alfa metinden sese modellerine erişim sunan bağımsız bir mobil uygulama başlattı.
Sesli yapay zeka şirketi ElevenLabs, iOS ve Android kullanıcılarının metinden ses klipleri oluşturmasına olanak tanıyan bağımsız bir mobil uygulama yayınladı.
Şimdiye kadar, ElevenLabs’ın yapay zeka destekli ses kütüphanelerini kullanarak örnekler üretmeniz gerekiyorsa, web uygulamasına güvenmek zorundaydınız. Şimdi hareket halindeyken klipler üretmek için mobil uygulamasını kullanabilirsiniz.
ElevenLabs mobil uygulaması, hareket halindeki içerik üreticiler için tasarlanmış şık ve sezgisel bir arayüzde güçlü AI ses üretme özelliklerini bir araya getiriyor. Kullanıcılar, 70’den fazla dilde binlerce gerçekçi sese erişebilir ve yaş, aksan ve stil filtreleri kullanarak her projeye en uygun sesi bulabilir. Uygulama, stadyum tezahüratlarından ince komedi zamanlamalarına kadar her ses klibini olağanüstü derecede insan sesine benzeten, benzeri görülmemiş bir duygusal aralık ve ifade kontrolü sunan son teknoloji Eleven v3 modelini içeriyor.
Uygulamayı diğerlerinden ayıran özellik, özelleştirme seçenekleri ve sorunsuz iş akışı entegrasyonu. Kullanıcılar, hayal ettikleri sesi tam olarak elde etmek için hız, kararlılık ve stil gibi ses parametrelerini ince ayar yapabilirler. Tek dokunuşla dışa aktarma özelliği sayesinde, oluşturulan sesler CapCut, TikTok, Instagram ve YouTube Shorts gibi popüler içerik oluşturma platformlarında anında paylaşılabilir. Uygulama, kullanıcıların ElevenLabs hesaplarıyla senkronize olarak, kişisel ses klonları, kaydedilmiş favoriler ve web platformundaki önceki içerikler dahil olmak üzere tam ses kitaplığına erişim sağlıyor. Ücretsiz kullanıcılar, mobil ve web uygulamaları arasında paylaşılan kredi limitleri ile ayda yaklaşık 10 dakika ses oluşturma hakkı elde ediyor.
V3 Alpha İfade Kontrolleri
Eleven v3 (alpha), satır içi ses etiketleri aracılığıyla ses ifadesinde benzeri görülmemiş bir kontrol sağlayarak AI konuşma sentezinde devrim yaratıyor. Önceki modellerden farklı olarak, v3 kullanıcıların [fısıldar], [güler], [kızgın], [heyecanlı] ve [iç çeker] gibi duygusal ipuçlarını doğrudan metne yerleştirerek performansları yönlendirmelerine olanak tanıyor ve doğal duygusal geçişlerle olağanüstü insan benzeri bir sunum yaratıyor. Bu etiketler birleştirilebilir (örneğin, “[mutlu][bağırır] Başardık! [güler]”) birleştirilerek, AI ses teknolojisiyle daha önce imkansız olan nüanslı performanslar elde edilebilir.
Modelin gelişmiş mimarisi, tüm duyguları ve ses efektlerini destekleyerek, ince ton değişikliklerinden cümle ortasında dramatik performans değişikliklerine kadar her şeyi mümkün kılıyor. v3, önceki sürümlerden daha fazla hızlı mühendislik gerektirse de, sesli kitaplar, videolar ve etkileşimli medya gibi uygulamalarda olağanüstü gerçekçilik sağlıyor. Gerçek zamanlı üretim ihtiyacı olan kullanıcılar için ElevenLabs, v3’ün gerçek zamanlı sürümü kullanıma sunulana kadar v2.5 Turbo veya Flash modellerini kullanmaya devam etmelerini öneriyor. Şirket, arayüzü üzerinden erişen self servis kullanıcılar için 2025 Haziran sonuna kadar v3 kullanımında %80 indirim sunuyor.
Çapraz Platform Entegrasyon Yetenekleri
ElevenLabs, geliştiricilerin AI ses teknolojisini çeşitli uygulamalara sorunsuz bir şekilde entegre etmelerini sağlayan, birden fazla platformda sağlam entegrasyon yetenekleri sunuyor. Platform, geliştiricilerin ses özelliklerini hızlı bir şekilde uygulamaya koyarken, kurumsal düzeyde güvenlik için GDPR ve SOC II uyumluluğunu koruyan Python ve TypeScript SDK’ları sağliyor. Kodsuz çözümler arayanlar için Albato, Make ve Appy Pie Automate gibi hizmetler, programlama uzmanlığı gerektirmeden ElevenLabs’ı yüzlerce popüler uygulamaya bağlamayı mümkün kılıyor.
Şirketin Konuşma Yapay Zeka teknolojisi, Salesforce, HubSpot ve Gmail gibi hizmetlere bağlanmak için Çok Kanallı Protokolü (MCP) destekleyen 11ai’nin tanıtımıyla entegrasyon olanaklarını daha da genişletti. Mobil uygulama entegrasyonu, geliştiricilerin önceden hazırlanmış sesler arasından seçim yapabileceği veya mobil uygulamalar için kendi seslerini özelleştirebileceği konuşma AI oyun alanı aracılığıyla kolayca gerçekleştirilebilir. Bu entegrasyon seçenekleri, ElevenLabs’ı web, mobil ve telefon kanallarında gerçekçi AI tarafından üretilen seslerle ürünlerini geliştirmek isteyen işletmeler için çok yönlü bir seçim haline getiriyor.