新聞動態
把握時代脈搏 引領行業發展
生成式AI電視應用創新:自然語言交互、搜索和推薦引擎以及AI電視
2024-03-04 10:14
生成式AI正在改變媒體格局,賦能媒體制作、分發和消費,使內容制作更加高效,分發更加有針對性,消費更加個性化。針對電視行業面臨的問題,本文重點探討AI大模型賦能的自然語言交互(語音和手機遙控)、搜索和推薦引擎(RAG檢索增強生成)以及AI電視管家(AI Agent應用)。
 
生成式AI:從ChatGPT到文生視頻Sora
 
2022年11月30日OpenAI發布ChatGPT大語言模型,被譽為“AI的iPhone時刻”,開啟了生成式AI的新時代。2024年2月15日OpenAI發布文生視頻大模型Sora,再次引起轟動,作為“世界模擬器”是實現通用人工智能(Artificial General Intelligence,AGI)的重要里程碑。
 
人工智能模型通?梢苑譃閮纱箢悾罕鎰e式(Discriminative)和生成式(Generative)模型。
1)辨別式模型的主要目標是對給定輸入數據進行分類或回歸。這些模型直接學習并建模輸入數據與標注之間的映射關系,以便對新的輸入數據進行預測或分類。常見的辨別式模型包括邏輯回歸、支持向量機(SVM)、決策樹、隨機森林、神經網絡(包括深度學習模型)等。辨別式模型通常用于解決分類、回歸和判別問題。
2)生成式模型的主要目標是對給定的數據分布進行建模,從而可以生成與原始數據相似的新數據。這些模型試圖理解數據的潛在結構,并通過學習概率分布來生成新的樣本。常見的生成式模型包括生成對抗網絡(GAN)、變分自編碼器(VAE)、自回歸模型(如循環神經網絡和Transformer模型)、以及概率圖模型(如隱馬爾可夫模型和貝葉斯網絡)等。生成式模型通常用于圖像生成、文本生成、語音合成等任務。
 
機器學習方法通?梢苑譃樗念悾
1)監督學習(Supervised Learning):在監督學習中,模型從帶有標注的訓練數據中學習輸入和輸出之間的映射關系。訓練數據包含輸入特征和相應的標注或目標值,模型通過學習這些數據來進行預測或分類。常見的監督學習任務包括分類、回歸和序列預測等。
2)無監督學習(Unsupervised Learning):在無監督學習中,模型從沒有標注的訓練數據中學習數據的結構、模式和特征,而無需標注的指導。無監督學習通常用于聚類、降維、異常檢測等任務,其目標是發現數據中的隱藏結構和規律。
3)自監督學習(Self-Supervised Learning,SSL):自監督學習是一種特殊的無監督學習方法,其中模型通過使用數據本身的屬性或結構作為監督信號來進行學習。這意味著模型在訓練過程中生成自己的標注或目標,然后使用這些自動生成的標注來學習數據的表示。自監督學習常用于預訓練深度學習模型,如語言模型預訓練、圖像重建、視頻預測等。
4)強化學習(Reinforcement Learning,RL): 強化學習是一種學習范式,其中智能體(Agent)通過與環境的交互來學習如何做出動作以達到最大化預期的累積獎勵。強化學習通常涉及建立一個智能體、環境和獎勵信號之間的交互模型,智能體通過嘗試不同的動作來最大化未來的獎勵。強化學習常用于游戲領域、機器人控制、自動駕駛等領域。
 
以OpenAI的聊天機器人ChatGPT(Generative Pre-trained Transformer生成式預訓練轉換器)為代表的大語言模型(Large Language Model,LLM),本質上是在大型文本語料庫上以自監督學習方式訓練的概率模型,可以根據前面的單詞(或token)預測下一個單詞(或token)的概率。LLM大模型采用擁有數十億至數千億參數的Transformer深度學習架構,通過自注意力機制(self-attention)捕捉輸入文本中不同單詞之間的依賴關系,使其能夠理解和生成文本。LLM被廣泛用于各種自然語言處理(Natural Language Processing,NLP)任務,如文本生成、問答、語言翻譯等。
 
OpenAI最近的文生視頻模型Sora,可以根據描述性提示生成視頻,在時間上向前或向后擴展現有視頻,并從靜止圖像中生成視頻。Sora建立在過去對DALL·E(文生圖像模型)和GPT模型的研究基礎上,采用Diffusion +Transformer融合架構,不僅了解用戶在提示中的要求,還了解這些東西在物理世界中是如何存在的。OpenAI承認Sora還存在一些缺點,包括難以模擬復雜的物理、理解因果關系以及區分左右。Sora是能夠理解和模擬真實世界的模型的基礎,被認為是通向多模態和AGI的一條有前途的道路。
 
如果說 2023 年是大模型出圈的第一年,2024 年則是大模型在各行各業落地的產業年。百度李彥宏呼吁:模型本身是不直接產生價值的,基于基礎大模型開發出來的應用才是模型存在的意義;對于創業者來說,卷大模型沒有意義,卷應用機會更大。AI大模型帶來人機交互范式的轉換即自然語言交互,基于自然語言或對話的交互方式將替代很多傳統的圖形界面交互,形成LUI(Language User Interface)+GUI(Graphical User Interface)的混合形態;诠驍祿蛘Z料庫訓練得到的通用大模型,需要結合領域知識和私域數據才能實現產業落地,結合了領域知識檢索和大模型生成的檢索增強生成(Retrieval Augmented Generation,RAG)會獲得越來越廣的應用。IDC聯合釘釘發布的《2024年AIGC應用層十大趨勢白皮書》認為,AI Agent(人工智能代理)是大模型落地業務場景的主流形式:AI Agent通常被視為一種融合感知、分析、決策和執行能力的智能體,具備相當顯著的主動性,堪稱人類的理想智能助手,使得“人機協同”成為新常態,個人與企業步入AI 助理時代。
 
生成式AI賦能媒體制作、分發和消費
 
生成式AI正在改變媒體格局,賦能媒體制作、分發和消費:
1)媒體制作:
內容創作:人工智能可以用于電視節目、電影和商業廣告的內容創作,幫助編劇和制作團隊提供創意靈感和內容框架,為媒體公司節省時間和資源。
視頻編輯:人工智能可以用于視頻編輯,幫助制作團隊自動化處理視頻素材、剪輯片段、添加特效和轉場效果,提高制作效率和質量。
音頻編輯:人工智能可以輔助音頻編輯任務,如降噪、語音增強和混音,提高媒體內容的聲音制作質量。
虛擬制作:人工智能驅動的虛擬制作工具可以創建逼真的虛擬環境和角色,減少對實體布景和道具的依賴。
2)媒體分發:
內容推薦:人工智能算法分析用戶偏好、觀看歷史和行為,提供個性化的內容推薦,提高用戶滿意度和留存率。
定向廣告:人工智能通過分析用戶數據來預測受眾偏好,從而優化廣告定向,提高廣告活動的參與度和轉化率。
動態內容優化:人工智能根據網絡條件和設備功能調整視頻質量、分辨率和緩沖,確保用戶無縫觀看體驗。
內容審核:人工智能算法自動檢測和過濾不適當或有害的內容,確保用戶擁有更安全的在線環境。
3)媒體消費:
個性化內容發現:人工智能推薦系統幫助用戶根據興趣、偏好和觀看習慣發現相關內容,提升用戶體驗和觀看時長。
語音和圖像識別:支持人工智能的語音助手和圖像識別技術允許用戶使用自然語言命令和視覺輸入搜索媒體內容并與之互動。
內容總結:人工智能算法總結文章、視頻和播客等長格式內容,使用戶無需消耗整個內容即可快速掌握要點。
語言翻譯:人工智能翻譯工具通過提供多種語言的字幕和配音的實時翻譯,促進全球媒體內容的消費。
 
針對電視大屏市場(有線電視、IPTV、互聯網電視)以及治理電視“套娃”收費和操作復雜,除了關注視頻生成模型如Sora為內容制作帶來的影響,提升現有電視的內容發現和交互體驗更是迫在眉睫。下面重點探討生成式AI的電視應用場景:
1)內容生成:生成式AI通過自動生成內容,包括劇本、小說、音樂、圖像和視頻,正在徹底改變內容創作。人工智能在視頻編輯中的作用同樣具有變革性,它可以分析視頻素材以進行連貫的編輯或剪輯,自動生成預告片、海報圖和體育賽事精彩片段。
2)內容增強:制作內容的指數級增長需要內容標注的自動化,以增強內容并使其可搜索,從而實現其重新利用。在元數據領域,自動元數據提取是使用人工智能的一個重要應用,用到面部識別、說話人識別、景觀檢測、對象識別、文本標記和文本主題提取。視頻摘要也為內容增值,人工智能可用于向編輯建議摘要或自動生成摘要。
3)受眾分析:人工智能有助于確保內容在正確的時間、在正確的平臺上到達正確的受眾。個體分析側重于個人用戶行為,通過分析用戶的瀏覽歷史、點擊、觀看和其他互動活動,實現千人千面;而社區分析研究一群興趣相似的用戶的行為,可以幫助理解個體層面無法顯現的趨勢和模式。受眾分析是個性化推薦、精準營銷和廣告投放的基礎。
4)智能推薦:推薦系統依賴于兩種主要技術:協同過濾和基于內容的推薦。協同過濾是一種建立在用戶之間相似性基礎上的模型,它不需要了解推薦對象的內容,但有冷啟動問題(新用戶或商品因缺少數據而無法推薦),推薦結果也缺少可解釋性;趦热莸耐扑]根據內容的描述(即元數據)來進行推薦,可以克服冷啟動問題且有很好的可解釋性,但需要豐富而準確的元數據標簽,可借助于人工智能如內容場景識別進一步增強元數據。推薦系統往往采用多種技術和混合策略,需要平衡相關性和多樣性,考慮應用場景和外部環境(如位置、時間、天氣和熱點事件等)。
5)智能搜索:提供直播、回看和點播等內容的統一搜索功能,使用戶可以通過關鍵詞、語音指令或自然語言描述來查找感興趣的內容。搜索功能應快速、準確地檢索到相關內容,并提供個性化和多樣化的搜索結果。RAG檢索增強生成有機結合搜索引擎和大模型生成能力,帶來新的搜索生成體驗。
6)語音交互:提供語音控制和語音交互功能,使用戶可以通過語音指令控制電視和搜索內容。語音交互可以提高用戶體驗的便捷性和自然性,使用戶無需使用遙控器或鍵盤即可完成操作。借助于大語言模型(LLM),可以克服傳統語音遙控器的局限性,提升語義理解和問答能力。
7)多屏互動:提供多屏互動體驗,允許用戶在手機、平板電腦等其他設備上與電視內容進行互動。例如,用戶可以在手機上瀏覽節目介紹、參與投票、查看實時評論等,并將這些信息同步到電視屏幕上。微信電視助手結合生成式AI,可以實現AI管家(控制電視和智能家居)和Shoppable TV(手機購買電視廣告商品)。
8)社交功能:在電視平臺上增加社交化功能,允許用戶分享觀看體驗、評論節目、與好友互動等。這可以增強用戶參與感和社交體驗,使觀看電視成為一種社交互動。微信電視基于微信的社交關系,率先實現虛擬影院(Watch Party)功能,成功開展社交裂變營銷活動。
 
自然語言交互(語音和手機遙控)
 
信息技術范式革命
PC時代:需側,從命令行界面進化到了圖形用戶界面(Graphical User Interface,GUI);供側,基于Wintel聯盟(微軟Windows操作系統+英特爾芯片)實現了硬件和應用軟件開放。
移動互聯網時代:需側,iPhone采用了先進的多點觸摸交互方式;供側,iPhone應用商店實現了蘋果封閉系統的開放。
人工智能時代:需側,ChatGPT重塑了自然語言對話的交互方式(語言用戶界面Language User Interface,LUI);供側,ChatGPT壓縮了來自互聯網的世界信息和人類知識。
 
范式革命的底層邏輯
需求側:交互創新,從鍵盤和鼠標,到手指觸摸,再到自然語言對話;
供給側:開放生態,聚集更多的供應商,吸引更多的用戶,進而形成網絡效應和良性循環。
 
電視的未來在哪里
需側要實現交互創新,紅外遙控器有其存在的價值,語音遙控器是進步,手機遙控器和大小屏互動是進步,生成式AI如ChatGPT帶來全新的自然語言交互;
供側要實現開放生態,聚合多家CP/SP內容做融合大包,實現直播、回看和點播的統一搜索和智能推薦,并從視頻消費擴展到生活消費,打造生活方式品牌和跨屏生態。
 
微信電視跨屏生態
需側所做的就是交互創新,觸屏+社交+實時音視頻互動(攝像頭+麥克風)+生成式AI自然語言交互;
供側所做的就是開放生態,超級聚合(Super Aggregation),聚合視頻內容、電商和本地生活服務。
 
生成式AI帶來更貼近人的交互方式,讓人類有史以來第一次有機會用自然語言的方式來跟機器對話,而機器也借由大模型擁有了極強的理解人類語言的能力,有望帶來一場全新的交互變革。GUI的壟斷地位將會瓦解,LUI + GUI 混合交互將成為主流趨勢。人的自然語言更多承載輸入Input,而輸出Output會通過 GUI 的界面,以結構化的方式呈現,便于用戶選擇接下來的動作。GUI的本質是一種供應側為主導的交互方式,所有人按照供應側的規則和方式去做;而LUI則是按照用戶的意圖去組織應用內的能力,包括應用外部的API,這是一種交互以及應用范式的變化。對話作為標準UI,通過對話即可直接調取、使用各種工具,這一趨勢將會加速超級入口的形成,超級入口將成為新一代應用軟件的典型前端形態。
 
生成式AI可以使電視具備自然語言交互的能力,用戶可以通過語音指令與電視進行交互,例如:“打開CCTV1”、“播放最新的電影”、“調低音量”,以及更復雜的場景如“我最近心情不好,請給我推薦10部治愈系的電影”。電視會通過語音識別技術將用戶的語音指令轉換為文本,然后利用生成式AI理解用戶的意圖并執行相應的操作,使用戶體驗更加智能和便捷。
 
《治理電視操作復雜工作實施指南》第二階段減少簡化遙控器,要求“完善語音搜索語料庫”“研發具備手機遙控功能的APP”。2024年治理工作重點任務,明確要求“推廣使用語音、手機等多種遙控方式”。據統計,現在全國IPTV遙控器支持藍牙占36.8%,不支持藍牙只是紅外占到63.2%。目前電視大屏的搜索功能(紅外首字母搜索為主),訂單和流量貢獻占比約為10%,有了語音遙控和手機遙控以及AI大模型的加持,搜索貢獻占比有望提升到20%甚至更高。
 
手機作為電視遙控器,有三種實現方案:
1)手機紅外遙控,需要手機具備紅外功能(或者外接紅外發射器),青島酷控提供紅外碼庫服務,只能兼容傳統紅外遙控器操作。
2)手機投屏或WiFi遙控,適用于智能電視和網絡機頂盒,基于端到端的DLNA、Airplay等協議,需要電視端安裝投屏APK,樂播科技提供樂播投屏電視版和企業版(企業會議投屏收費)。
3)微信電視或電視助手,適用于IPTV/有線電視機頂盒和智能電視,基于端到云到端的消息協議,作為大小屏互動和營銷工具,集內容發現、社交裂變、AI管家和5G應用于一體,讓電視“更好看、更好玩、更好用”。上海視暢作為微信電視的開創者和領導者,有最多的運營商和新媒體落地運營案例。
 
紅外遙控器操作簡單,但不便于文字輸入,只能進行首字母搜索。語音遙控器通過藍牙連接機頂盒,可以進行語音搜索,但語義理解和搜索效果有待提升。手機遙控器/微信小程序,除了實現紅外遙控和語音遙控功能之外,還可以發現電視內容(一鍵投屏電視播放),進行社交分享(包括Watch Party),更可以結合AI大模型實現自然語言交互和智能問答(AI電視管家),利用手機攝像頭和麥克風實現“手機+電視”5G應用,開展精準營銷、裂變營銷和線上線下融合營銷活動。
 
2023年11月2日-3日天翼數字生活公司組織“語音AI及語音遙控器賦能型產品研討會”,落實集團公司《關于加快電視“套娃”收費和操作復雜問題專項治理工作的通知》相關要求,協同各省公司共同探索電視大屏內容運營、產品創新、操作簡化工作路徑。在“廠商分享行業趨勢和方向”環節,上海視暢分享《電視操作復雜和“套娃”收費解決方案》,提出藍牙語音遙控器和微信電視小程序的融合方案。融合方案兼容語音遙控功能之外,可擴展到不支持藍牙的機頂盒,并增加節目瀏覽及推薦、社交分享、AI管家、5G應用等功能,一套微信電視產品支撐分省電視助手和小翼管家電視助手。
 
上海視暢提供紅外遙控器、語音遙控器和手機遙控器的升級融合方案,結合生成式AI,從以下多個方面提升語音交互和搜索體驗:
1)提供內容聚合(通過SDK聚合愛優騰芒內容做融合大包)和元數據標簽補全,實現直播、回看和點播的統一搜索;
2)搜索和推薦相結合,根據用戶搜索和觀看行為,主動推薦熱播、相關和個性化內容;
3)AI大模型壓縮了人類知識,利用RAG檢索增強生成,變搜索為智能問答和搜索生成體驗;
4)LUI+GUI混合交互界面,用戶通過語音或文本進行交互,在圖形界面上顯示相關信息或執行操作;
5)手機遙控支持兩種模式:一是語音遙控模式:手機語音輸入、電視響應,兼容藍牙語音遙控器;二是AI管家模式:手機語音輸入、手機響應,手機展示影視內容、一鍵投屏電視觀看。
 
搜索和推薦引擎(RAG檢索增強生成)
 
上海視暢的搜索和推薦引擎,一方面對標YouTube和Netflix的最佳實踐,另一方面積極擁抱生成式AI賦能,實現元數據增強(內容場景識別)、搜索生成(RAG檢索增強生成)和推薦生成(推薦+AIGC)。
 
YouTube搜索引擎,作為僅次于其母公司谷歌的第二大搜索引擎,綜合考慮以下因素來提供最佳搜索結果:1)相關性(Relevance):會考慮諸如標題、標簽、描述和視頻內容與搜索查詢的匹配程度;2)參與度(Engagement):會結合來自用戶的聚合參與信號,即查看特定查詢的特定視頻的觀看時間,以確定其他用戶是否認為該視頻與該查詢相關;3)質量(Quality):旨在識別有助于確定哪些頻道在給定主題/查詢上表現出專業知識、權威性和可信度的信號;4)個性化(Personalization):會根據用戶的搜索和觀看歷史記錄,提供個性化的搜索結果。針對音樂或娛樂等內容,會經常使用相關性、新鮮度或流行度,而當涉及到新聞、政治、醫學或科學信息時,權威性是關鍵。YouTube搜索引擎優化(SEO)主要取決于基于元數據(標題、標簽、描述等)的關鍵字相關性和參與度指標(觀看時長、點贊、評論等),并兼顧個性化和權威性。
 
YouTube推薦引擎,基于協同過濾的思想(具有相似行為的用戶共享相似的偏好),綜合考慮多種信號:觀看歷史、搜索歷史、頻道訂閱、分享/點贊/不點贊、“不感興趣”和“不推薦頻道”的反饋選擇、滿意度調查等。YouTube推薦引擎的結果主要展示在兩個地方:一是主頁(Homepage),主要基于用戶的觀看歷史來推薦個性化內容;二是“下一個”(Up next),主要基于當前正在觀看的視頻來推薦相關內容。YouTube推薦內容的收視占比超過搜索或頻道訂閱,如YouTube主頁上有60%的點擊來自推薦。
 
Netflix搜索引擎,研究發現用戶搜索時有三種不同狀態:1)找來(Fetch):用戶明確知道想看哪部影片,直接從目錄中檢索特定的影片名字,即精準匹配;2)查找(Find):用戶有了明確需求,但心中沒有特定的影片,如成龍的電影或奧斯卡獲獎影片;3)探索(Explore):用戶不知道想看什么,通常會輸入探索性質的查詢,如恐怖影片。Netflix上至少有13%的搜索是目錄里沒有的內容,這時要推薦與查詢相關的內容和個性化的內容,最好把搜索結果和推薦結果混合進行重新排序。為了減少大屏遙控器的按鍵次數,Netflix提供了“即時搜索”(Instant Search),每次按鍵都會立即提供一組有用的結果,引導用戶在鍵入過程中盡早注意并更正錯誤,用盡可能少的按鍵次數獲得所需的結果。Netflix通過搜索發現的內容占比超過20%,搜索和推薦相結合,以及語音搜索和手機投屏,都有助于進一步提升搜索體驗和占比。
 
Netflix推薦引擎,綜合考慮多種因素:用戶的觀看歷史和評價,有相似品味和偏好的其他成員,元數據信息(如類型、類別、演員、上映年份等),以及一天中觀看的時間、所使用的設備、觀看時長等數據。對于一個新用戶,Netflix會讓用戶選擇幾部喜歡的影視來初始化偏好,若用戶選擇放棄這一步則會推薦一些多樣且受歡迎的內容。Netflix主頁上會展示多行的個性化推薦(相關性從上到下、從左到右依次降低),每行有三層個性化設置:行的選擇(例如繼續觀看、正在流行、獲獎喜劇等),哪些標題出現在行中,以及這些標題的排名。Netflix通過A/B測試來衡量滿意度指標,并改進推薦算法,包括個性化排名、頁面生成、搜索、海報選擇、消息推送等領域。Netflix非常注重元數據標簽的準確性和推薦結果的可解釋性,為此建立了30人的標簽員團隊,從3000多個標簽中為每部劇集和電影打上合適的標簽。Netflix有75%用戶觀看的內容來自推薦,25%來自搜索。
 
統一媒資元數據(Metadata)是統一搜索引擎、智能推薦引擎和AI大模型應用的基礎。視暢積十年之功建立了全網影視媒資大數據平臺,媒資來源包括愛優騰芒等視頻網站、豆瓣時光網等影評網站、貓眼淘票票等票房數據、央視衛視地方臺數千個直播頻道、數十家合作方CP/SP內容;“眾包”(Crowdsourcing)思想(聚合利用各個來源的元數據標簽,人工所打標簽缺失則由人工智能提。,建立了打通直播、回看和點播的統一媒資標簽體系,一方面兼容國家行業標準GY/T 360-2022 《廣播電視和網絡視聽節目內容標識標簽規范》,另一方面從標簽層級和數量上來說更豐富,也更準確(有可信度加權,權值也參與智能推薦計算)。在此基礎之上,視暢進一步應用人工智能增強元數據和識別內容場景,如自動提取標簽,識別片頭片尾和人像/圖像等。針對標簽缺失的影視類和非影視類內容以及短視頻,則從標題、描述、字幕等文字信息自動提取標簽,已實際應用于智能標簽補全、搜索和推薦引擎。針對電視劇等劇集缺少統一的片頭片尾時間戳數據(用戶追劇不能自動跳過片頭片尾),視暢開發的片頭片尾智能識別方案,通過抽幀和畫面識別已能自動完成片頭片尾時間戳打點;诙嗄B大模型的圖像識別能力,可自動識別明星人物和廣告商品,實現場景級別的AI搜索和Shoppable TV(手機購買電視廣告商品)。,
 
搜索是用戶的主動行為,有很高的訂購轉化率,目前電視大屏搜索的訂單和流量貢獻占比約為10%(紅外首字母搜索為主),還有很大優化和創新空間。視暢的搜索生成引擎,率先實現直播、回看和點播的統一搜索,把搜索和推薦相結合,支持語音搜索和手機搜索,利用RAG檢索增強生成帶來全新的搜索生成體驗。搜索引擎的進化方向是RAG(Retrieval-Augmented Generation)——基于檢索增強的內容生成,把領域知識檢索(基于結構化元數據/關鍵詞的搜索引擎)和通用大模型的理解和生成能力有機結合起來,變搜索為智能問答和搜索生成體驗。RAG可在多個方面增強搜索引擎體驗:1)自然語言理解:幫助搜索引擎更好地理解用戶的查詢意圖,將其擴展為更具體的搜索請求,生成更準確的結果;2)多輪對話:充當搜索引擎界面的交互助手(LUI+GUI混合交互界面),檢索過程已經成為多輪對話的迭代形式;3)個性化:根據用戶的個人偏好和搜索歷史生成個性化的搜索建議,提高搜索結果的相關性和用戶滿意度。
 
視暢的推薦引擎已經形成統一智能運營體系,包括統一媒資標簽體系、全場景“7維”智能推薦引擎以及分析洞察平臺和精準營銷工具。視暢的全場景“7維”智能推薦,以“物以類聚、人以群分”為指導,對標Netflix智能推薦系統,既有基于內容標簽的相似度推薦,也有基于用戶行為的個性化推薦,實現內容在電視端和移動端的自動化編排和智能化運營以及大小屏融合運營,覆蓋了幾乎所有推薦場景(編輯推薦、熱點推薦、關聯推薦、個性化推薦、社交推薦、明星推薦、智能EPG等)。視暢在業內開創了融合大包模式,通過SDK聚合愛優騰芒內容做融合大包,實現直播、回看和點播的“統一智能運營”(統一媒資、統一搜索、統一推薦、統一訂購、統一播放),包括智能EPG(直播點播化,直播/回看為點播導流)和超級頻道(點播直播化,由點播/回看組成個性化頻道),可從根本上解決電視“套娃”收費問題,同時提升用戶體驗、內容運營效率和付費點播收入。智能推薦(用戶主動拉取Pull)和精準營銷(主動觸達用戶Push)一體兩面。視暢的統一智能運營體系,在智能推薦A/B測試和運營案例中取得了超出預期的效果,帶來會員數量、人均訂購和增值業務收入的顯著增長。
 
內容創作的演變趨勢:從PGC(Professional Generated Content專業生成內容)到UGC(User Generated Content用戶生成內容),再到AIGC(Artificial Intelligence Generated Content人工智能生成內容)。目前電視大屏的內容,以PGC專業制作的影視等長視頻內容為主,兼顧UGC短視頻內容。隨著AIGC的蓬勃發展,下一代推薦引擎將朝著“推薦生成”范式邁進,在人類生成內容(PGC+UGC)不能滿足用戶需求的情況下,通過人工智能即時生成個性化內容(AIGC)。視暢已經走在探索推薦生成引擎的路上,如生成抖音化的超級導視(以短帶長,可從短視頻一鍵切換到長視頻),如生成自動播放的超級頻道(由點播/回看組成的個性化頻道)。AIGC時代,將會催生新一代短視頻平臺和影視內容制作的繁榮,為用戶帶來個性化內容推薦(PGC+UGC)和個性化內容生成(AIGC)的新體驗。
 
AI電視管家(AI Agent應用)
 
生成式AI可以充當電視的智能管家,為用戶提供更加個性化的服務。AI電視管家可以根據用戶的喜好和習慣,自動化執行一系列任務,如定時提醒、安排日程、控制電視、播放音樂、訂購外賣等。通過與用戶的交互學習,AI電視管家可以不斷優化用戶體驗,提供更加貼心和智能的服務。
 
AI Agent(人工智能代理)是大模型落地業務場景的主流形式。AI代理是一種能夠模擬和執行人類任務的智能系統,它可以根據環境和任務的要求,自主地進行決策和行動。大多的復雜產品和交互形態都有機會被 AI Agent 簡化成聊天類產品交付,采用LUI+GUI混合的交互形式,大幅降低使用門檻,如用戶只需要在微信里說一句話Agent就會自動完成各種任務。
 
AI Agent = 大語言模型(LLM)+規劃(Planning)+ 記憶(Memory)+ 行動及工具(Action with Tools),是以大語言模型為大腦驅動,具有自主理解感知、規劃、記憶和使用工具的能力,能自動化執行完成復雜任務的系統。AI演進方向:從AI Copilot(助理/副駕駛)到AI Agent(代理/智能體/行動體)再到AI Autopilot(自主/自動駕駛),今天是“Human + AI Copilot”時代,開始進入“AI Agent +Human Copilot”時代,未來是“AI Autopilot”時代。
 
從紅外遙控器,到語音遙控器,再到手機遙控器/大小屏互動,微信電視結合AI大模型(AI大模型+微信電視=AI管家),實現全新的大小屏交互、自然語言交互(LUI和GUI混合交互)和智能問答(搜索變問答,大模型無所不知、無所不答),支持語音或文字輸入,可以通過多輪對話獲得影視推薦,控制大屏電視,扮演家庭角色,影視內容一鍵投屏觀看,可從根本上解決電視操作復雜的問題。
         
AI管家交互界面(LUI 和 GUI 混合的交互界面)
 
上海視暢首家推出的“AI管家”AI Agent產品,變搜索為問答,利用AI大模型實現電視自然語言交互和個性化推薦,功能如下:
1)影視推薦
大模型問答返回結果,自動匹配片庫內容,匹配影片可一鍵投屏;
搜索/推薦引擎返回查詢結果作為補充,影片可一鍵投屏。
2)電視控制
直接響應電視控制命令,如播放直播/回看/點播節目、快進快退、音量調節等。
3)角色扮演
自定義家庭成員角色:兒童、老人、男士、女士、學生等,大模型智能推薦與所扮演角色最相關的內容。
 
AI管家系統架構圖
 
視暢的 AI Agent/AI 管家系統由以下部分組成:
1)人機交互設備(Human–Computer Interaction):可以是語音遙控器(需要在電視上展示問答結果),也可以是微信電視小程序(在手機上展示問答結果,影視內容一鍵投屏,或者電視直接響應控制指令);
2)LLM Orchestration(路由和調度):負責協調生成式 AI 大模型(LLM)、領域搜索/推薦引擎以及行動引擎,包括數據預處理(如內容場景識別),用戶輸入處理(如用戶意圖識別),提示構造/檢索和提示執行/推理(RAG檢索增強生成),特定行動 AI Agent/AI 管家(生成執行/控制指令);
3)推理引擎(Reasoning Engine):即生成式 AI 大模型(LLM),通過 API 調用大模型如文心一言、通義千問等,通過提示詞工程生成所希望得到的答案;
4)領域知識(Domain Knowledge):特定領域的知識庫和工具(API),如 IPTV/有線電視平臺的搜索引擎和推薦引擎,再如智能家居(Smart Home);
5)行動引擎(Action Engine):負責 AI Agent/AI 管家與家庭環境的互動和任務執行(相當于AI 大模型的手和腳),如控制智能電視/機頂盒、智能家居,以及成為生活助手。
 
生成式AI正在改變媒體格局,賦能媒體制作、分發和消費,使內容制作更加高效,分發更加有針對性,消費更加個性化。針對電視行業面臨的問題,本文重點探討了AI大模型賦能的自然語言交互(語音和手機遙控)、搜索和推薦引擎(RAG檢索增強生成)以及AI電視管家(AI Agent應用)。這些創新應用將生成式AI技術與電視應用相結合,為用戶帶來更加智能、個性化和便捷的觀看體驗,推動電視行業向智能化、人性化和新質生產力方向發展。
 
作為視頻智能運營專家、融合大包和微信電視的開創者和領導者,上海視暢已為30多家省級運營商和廣電新媒體提供視頻智能運營(統一媒資標簽體系+全場景“7維”智能推薦+分析洞察平臺和精準營銷工具)、融合大包(統一媒資、統一搜索、統一推薦、統一訂購、統一播放)、微信電視(內容發現+社交裂變+AI搜索/AI管家+5G應用)產品服務,近年助力合作伙伴獲得10項國家或省級創新獎項,期待攜手更多合作伙伴,通過結合生成式AI“創造電視新價值、賦能生活新生態”!
 

上海視暢信息科技有限公司
上海市浦東新區張江集電港龍東大道3000號1號樓A幢12樓A區
聯系電話:
021-61001763
合作咨詢:
business@vstartek.com
Copyright@2018 上海視暢信息科技有限公司 滬ICP備10026472號 營業執照
久久大香伊人中文字幕-欧美日韩亚洲精品国产色-av电影一区二区-国产一线天精品视频