Haberler
Sesame AI etkileyici sesli asistanını tanıttı
Kaliforniya merkezli start-up Sesame AI, daha gerçekçi diyaloglar oluşturmak için mikro duraklamalar, tonlama ve kahkaha gibi kasıtlı kusurları kullanan bir konuşma modeli geliştirdi.
Kaliforniya merkezli bir startup olan Sesame AI, konuşma çıktısına kasıtlı olarak kusurları dahil ederek sesli yapay zekaya alışılmadık bir yaklaşım getiriyor. Yeni modelleri, daha otantik diyaloglara ve yapay zeka sistemlerinde “ses varlığı” olarak adlandırdıkları şeye doğru erken bir adımı temsil ediyor.
İlk testlere göre, Sesame’ın en etkileyici özellikleri, konuşmalar sırasında mikro duraklamalar, vurgu değişimleri ve kahkahalar gibi ince unsurlar. Bir etkileşimde, Sesame’in avatarı Maya, bir kullanıcının ani kıkırdamasına gerçek zamanlı olarak yanıt vererek duygusal farkındalık gösterdi.
Sistem, cümle ortasında kendi kendini düzeltme, kesintiler için özür dileme ve dolgu sözcükleri gibi insan benzeri davranışları kasıtlı olarak içeriyor. Techradar bu kasıtlı kusurları özellikle övdü ve ChatGPT veya Gemini’nin cilalı kurumsal tonundan ne kadar farklı olduklarına dikkat çekti.
İş stresi veya parti planlaması hakkındaki tartışmalar gibi simüle edilmiş senaryolarda, sistem genel ifadelere geri dönmek yerine bağlama uygun yanıtlar ve sorular sağladı.
Sesame AI semantik ve akustik belirteçleri kullanıyor
Henüz resmi bir makale yayınlanmamış olsa da, Sesame’in blog yazısı mimarileri hakkında fikir veriyor. CSM, temel işleme için bir omurga transformatörünü (1-8 milyar parametre) ses üretimi için daha küçük bir kod çözücü (100-300 milyon parametre) ile birleştiren iki parçalı bir transformatör yapısı kullanıyor.
Sistem, perde ve vurgu gibi ses özellikleri için akustik belirteçlerin yanı sıra dilsel özellikler ve fonetik için semantik belirteçler kullanarak konuşmayı işliyor. Eğitimi optimize etmek için, ses kod çözücü ses karelerinin yalnızca on altıda biri üzerinde eğitilirken, anlamsal işleme tüm veri kümesini kullanıyor.
Model, beş dönem boyunca bir milyon saatlik İngilizce ses verisi üzerinde eğitildi. Uçtan uca bir mimaride 2.048 jetona kadar (yaklaşık iki dakikalık ses) dizileri işleyebiliyor. Bu yaklaşım, metin ve sesi entegre bir şekilde işlemesiyle geleneksel metinden sese sistemlerinden ayrılıyor.
Blog yazısında doğrudan belirtilmese de demo ses, Google’ın açık kaynaklı LLM Gemma’sının 27 milyar parametreli bir versiyonunu kullandığını ortaya koyuyor.
Testler insana yakın performans ortaya koyuyor
Sesame ile yapılan kör testlerde, katılımcılar kısa konuşma parçacıkları sırasında CSM ile gerçek insanlar arasında ayrım yapamadı. Bununla birlikte, daha uzun diyaloglar, zaman zaman doğal olmayan duraklamalar ve ses artefaktları gibi sınırlamaları ortaya çıkardı.
Sesame, model performansını ölçmek için özel fonetik kıyaslamalar geliştirdi. Dinleme testlerinde, katılımcılar üretilen konuşmayı bağlam olmadan duyduklarında gerçek kayıtlara eşdeğer olarak değerlendirdiler, ancak bağlam sağlandığında orijinali tercih etmeye devam ettiler.
Deneklerin yapay zeka tarafından üretilen konuşma tercihi neredeyse insani seviyelere ulaşıyor. | Resim: Sesame AI
Gelecekteki gelişmeler ve açık kaynak planları
Sesame, araştırmalarının temel bileşenlerini Apache 2.0 lisansı altında açık kaynak olarak yayınlamayı planlıyor. Önümüzdeki aylarda, hem model boyutunu hem de eğitim kapsamını büyütmeyi ve 20’den fazla dile genişletmeyi planlıyorlar.
Şirket özellikle önceden eğitilmiş dil modellerini entegre etmeye ve konuşmacı geçişleri, duraklamalar ve hızlanma gibi konuşma dinamiklerini doğrudan verilerden öğrenebilen tam çift yönlü yetenekli sistemler geliştirmeye odaklanıyor. Bu gelişme, veri küratörlüğünden eğitim sonrası yöntemlere kadar işleme hattı boyunca temel değişiklikler gerektirecek.
Geliştiriciler, “Sesli varlığa sahip dijital bir yol arkadaşı oluşturmak kolay değil, ancak kişilik, hafıza, ifade ve uygunluk dahil olmak üzere birçok cephede istikrarlı bir ilerleme kaydediyoruz” diyor.
Eski Oculus CTO’su Brendan Iribe ve ekibi tarafından kurulan Sesame AI, Andreessen Horowitz liderliğinde önemli bir A Serisi fon sağladı. Bir demo mevcut.
Doğal yapay zeka seslerinin asistanların benimsenmesi üzerindeki etkisi, ChatGPT’nin Gelişmiş Ses Modu etrafındaki heyecanla kanıtlandı. LLM’ler tarafından desteklenen sesli asistanların, Amazon’un Alexa+’ı piyasaya sürmesinin de gösterdiği gibi, giderek daha yaygın hale gelmesi muhtemel.
Kaynak: The Decoder
Haberler
YouTube dinamik reklam ekleme özelliği getirmeye hazırlanıyor
Semafor’un haberine göre YouTube dinamik reklam ekleme özelliğini devreye sokabilir. Haberde, YouTube’un açık RSS kullanan ses podcast’lerinde olduğu gibi “ana sunucu tarafından okunan reklamların dinamik olarak tek tek YouTube videolarına eklenmesine ve değiştirilmesine izin vereceği” belirtiliyor. YouTube iddialarla ilgili henüz bir yorum yapmadı.
Haberler
OpenAI: Yapay zekalı sesli asistan artık sohbet etmek için daha iyi
OpenAI, ChatGPT’de gerçek zamanlı konuşmalara olanak tanıyan yapay zeka ses özelliği Gelişmiş Ses Modu için, yapay zeka asistanını daha cana yakın hale getirmek ve kullanıcıları daha az rahatsız etmek için güncellemeler yayınladı.
Haberler
OpenAI, gerçekçi, duygusal konuşmalar üretebilen yeni nesil bir “Ses Motoru” tanıttı
OpenAI, daha güvenilir konuşmadan metne dönüştürme ve arka plan gürültüsü ve aksanlar gibi zorlu ses koşullarının daha iyi işlenmesini sağlayan gpt-4o-transcribe ve gpt-4o-mini-transcribe adlı geliştirilmiş ses modellerini yayınladı.
OpenAI, API’sine, şirketin önceki sürümlerini geliştirdiğini iddia ettiği yeni transkripsiyon ve ses üreten yapay zeka modelleri getiriyor.
OpenAI için bu modeller, kullanıcılar adına görevleri bağımsız olarak yerine getirebilen otomatik sistemler oluşturmak anlamına gelen daha geniş “ajan” vizyonuna uyuyor. “Temsilci” tanımı tartışmalı olabilir, ancak OpenAI Ürün Başkanı Olivier Godement bir yorumu, bir işletmenin müşterileriyle konuşabilen bir sohbet robotu olarak tanımladı.
Godement, “Önümüzdeki aylarda giderek daha fazla temsilcinin ortaya çıktığını göreceğiz. Genel tema, müşterilerin ve geliştiricilerin faydalı, kullanılabilir ve doğru aracılardan yararlanmasına yardımcı olmak” dedi.
OpenAI, yeni metinden konuşmaya modeli “gpt-4o-mini-tts ‘nin sadece daha nüanslı ve gerçekçi bir konuşma sunmakla kalmayıp aynı zamanda önceki nesil konuşma sentezleme modellerine göre daha ’yönlendirilebilir” olduğunu iddia ediyor. Geliştiriciler gpt-4o-mini-tts’e doğal dilde bir şeyleri nasıl söyleyeceği konusunda talimat verebiliyor; örneğin, “çılgın bir bilim adamı gibi konuş” veya “bir farkındalık öğretmeni gibi sakin bir ses kullan”.
İşte “gerçek suç tarzı”, yıpranmış bir ses:
OpenAI ürün ekibinin bir üyesi olan Jeff Harris, TechCrunch’a verdiği demeçte, amacın geliştiricilerin hem ses “deneyimini” hem de “bağlamı” uyarlamasına izin vermek olduğunu söyledi.
Harris, “Farklı bağlamlarda, sadece düz, monoton bir ses istemezsiniz. Bir müşteri destek deneyimindeyseniz ve sesin bir hata yaptığı için özür dilemesini istiyorsanız, aslında sesin içinde bu duyguyu barındırmasını sağlayabilirsiniz… Buradaki en büyük inancımız, geliştiricilerin ve kullanıcıların yalnızca ne konuşulduğunu değil, nasıl konuşulduğunu da gerçekten kontrol etmek istedikleridir” dedi.
OpenAI’nin yeni konuşmadan metne modelleri olan “gpt-4o-transcribe” ve “gpt-4o-mini-transcribe” ise şirketin uzun süredir kullandığı Whisper transkripsiyon modelinin yerini alıyor. OpenAI, “çeşitli, yüksek kaliteli ses veri kümeleri” üzerinde eğitilen yeni modellerin kaotik ortamlarda bile aksanlı ve çeşitli konuşmaları daha iyi yakalayabildiğini iddia ediyor.
Harris ayrıca halüsinasyon görme olasılıklarının da daha düşük olduğunu sözlerine ekledi. Whisper, ırkçı yorumlardan hayali tıbbi tedavilere kadar her şeyi transkriptlere ekleyerek, konuşmalarda kelimeleri ve hatta tüm pasajları uydurma eğilimindeydi.
Harris, “Bu modeller bu konuda Whisper’a kıyasla çok daha gelişmiş durumda. Modellerin doğru olduğundan emin olmak, güvenilir bir ses deneyimi elde etmek için tamamen önemlidir ve [bu bağlamda] doğru olması, modellerin kelimeleri tam olarak duydukları [ve] duymadıkları ayrıntıları doldurmadıkları anlamına gelir” diye konuştu.
Bununla birlikte, kat ettiğiniz mesafe yazıya dökülen dile bağlı olarak değişebilir.
OpenAI’nin dahili kıyaslamalarına göre, iki transkripsiyon modelinden daha doğru olan gpt-4o-transcribe, Tamil, Telugu, Malayalam ve Kannada gibi Indic ve Dravidian dilleri için %30’a yaklaşan (%120 üzerinden) bir “kelime hata oranına” sahip. Bu, modelden alınan her 10 kelimeden üçünün bu dillerde insan transkripsiyonundan farklı olacağı anlamına gelir.
OpenAI, geleneği bozarak yeni transkripsiyon modellerini açık bir şekilde kullanıma sunmayı planlamıyor. Şirket geçmişte Whisper’ın yeni sürümlerini MIT lisansı altında ticari kullanım için yayınlamıştı.
GPT-4o-transcribe ve gpt-4o-mini-transcribe’ın “Whisper’dan çok daha büyük” olduğunu ve bu nedenle açık bir sürüm için iyi adaylar olmadığını söyleyen Harris, “Whisper gibi dizüstü bilgisayarınızda yerel olarak çalıştırabileceğiniz türden bir model değiller. Bir şeyleri açık kaynak olarak yayınlıyorsak, bunu düşünceli bir şekilde yaptığımızdan ve bu özel ihtiyaç için gerçekten geliştirilmiş bir modele sahip olduğumuzdan emin olmak istiyoruz. Ve son kullanıcı cihazlarının açık kaynak modelleri için en ilginç durumlardan biri olduğunu düşünüyoruz” dedi.
Kaynak: TechCrunch
YouTube dinamik reklam ekleme özelliği getirmeye hazırlanıyor
OpenAI: Yapay zekalı sesli asistan artık sohbet etmek için daha iyi
OpenAI, gerçekçi, duygusal konuşmalar üretebilen yeni nesil bir “Ses Motoru” tanıttı
Haberler3 yıl öncePodcast’ten para kazanmanın 12 yolu
- Haberler2 yıl önce
Spotify’dan ‘Şişedeki Çalma Listesi’
- Etkinlik1 yıl önce
‘Podcast Dinliyorum’ etkinliğinin ikincisi 25 Ekim’de
- Araştırma3 yıl önce
Mart ayına Anchor, Buzzsprout ve Spreaker damgası
- Haberler3 yıl önce
Video podcast nedir?
- Haberler3 yıl önce
Podcast’leri nasıl daha hızlı dinleyebilirsiniz?
- Haberler3 yıl önce
Daniel Ek Spotify’ın büyük vizyonunu anlattı
- Araştırma7 ay önce
Popüler podcast yayıncıları sektördeki en büyük zorlukları yorumluyor
