一、導(dǎo)言
目前多媒體系統(tǒng)的特點(diǎn)在于綜合了計(jì)算機(jī)合成、存儲(chǔ)、通信、處理，以至多媒體的再現(xiàn)演示。其中，值得研究的一個(gè)關(guān)鍵問(wèn)題，即是各種多媒體數(shù)據(jù)信號(hào)的同步問(wèn)題。
不妨先以電影中出現(xiàn)的現(xiàn)象為實(shí)例來(lái)加以體會(huì)或理解，電影膠片的畫(huà)面邊緣，制有音跡，在電影放映過(guò)程中，在映像投射在影幕的同時(shí)，音跡也由放映機(jī)進(jìn)行光電轉(zhuǎn)換，還原出聲音，影片制作時(shí)，畫(huà)面與音跡同存于一個(gè)膠片框內(nèi)，而放映時(shí)又同時(shí)“表現(xiàn)”出來(lái)，這就油然完成了圖像和聲音兩媒體對(duì)象的嚴(yán)格同步。而在譯制片中，配音演員要注意觀察影片中演員的嘴型動(dòng)作來(lái)配臺(tái)詞，這就是所謂的“唇同步”(Lip Synchronization)，之中反映了視頻媒體與音頻媒體之間在時(shí)間上的相互依存關(guān)系。類似地，影片中還有一些例子，如電影膠片兩邊的齒孔，與放映機(jī)的電機(jī)配合，按照一定的速度運(yùn)轉(zhuǎn)，速度的快慢會(huì)立即相應(yīng)地影響音調(diào)的高低，當(dāng)然影片中畫(huà)面所受的影響并非那么靈敏；由于影片膠片的長(zhǎng)度所限，兩臺(tái)放映機(jī)交錯(cuò)放映，這時(shí)兩者的銜接，要由放映員根據(jù)銀幕上出現(xiàn)的用于“同步”的“白點(diǎn)”來(lái)進(jìn)行……
在多媒體系統(tǒng)中，同步的內(nèi)涵則要復(fù)雜得多。一般說(shuō)來(lái)，同步可認(rèn)為是相對(duì)時(shí)間而言，而更為廣義地認(rèn)為，在多媒體系統(tǒng)中應(yīng)包含多媒體表現(xiàn)的內(nèi)容、空間和時(shí)間關(guān)系。這里需區(qū)分時(shí)相關(guān)媒體和時(shí)無(wú)關(guān)媒體。時(shí)相關(guān)媒體流中的連續(xù)單元之間有相應(yīng)的時(shí)間關(guān)系，如視頻信號(hào)包括一定數(shù)量的幀，每一幀均具有固定的時(shí)間段。時(shí)無(wú)關(guān)媒體是一些諸如文本、圖形等類的媒體，其“表現(xiàn)”的意義，并不取決于時(shí)間段。在時(shí)相關(guān)媒體和時(shí)無(wú)關(guān)媒體之間則往往存在相應(yīng)的內(nèi)容上的同步關(guān)系，如圖表與語(yǔ)音合釋，圖像或語(yǔ)音與旁白文字注釋等。當(dāng)然從另一角度上看，這兩者之間的內(nèi)容關(guān)系也反映兩者在時(shí)間段的關(guān)系。多媒體信息間的空間意義也可有多種反映，如某可視媒體在顯示器屏幕上的顯示位置，先后出現(xiàn)的關(guān)系等；而對(duì)于聲音這一不可視媒體，則安排它在聽(tīng)覺(jué)空間與哪一些可視媒體同步。可視媒體之間也有空間關(guān)系，如表現(xiàn)花園別墅的畫(huà)面，可從大門開(kāi)始，然后拉伸鏡頭，反映建筑物與地面之間類似“上下文”的關(guān)系。
在多媒體系統(tǒng)中，同步的內(nèi)涵還應(yīng)含有多層次或多級(jí)的劃分。諸如，用戶級(jí)同步、復(fù)合對(duì)象內(nèi)部同步、系統(tǒng)同步等。從多媒體節(jié)目的創(chuàng)作到演示，涉及了一系列的過(guò)程，其中有節(jié)目的腳本、拍攝、數(shù)據(jù)取樣處理，媒體的存儲(chǔ)、傳送、演示再現(xiàn)等等，在其中，應(yīng)指出信息交互。用戶可以控制和使用信息，如反復(fù)調(diào)用有興趣的進(jìn)球，沖刺畫(huà)面，快速掠過(guò)不感興趣的部分等等，用戶級(jí)同步是交互性參與的同步，在腳本的制作時(shí)就應(yīng)考慮用戶的需求。
媒體的處理或傳送是以信息元（BIU，Basic Information Unit），也稱數(shù)據(jù)邏輯單元(LDU，Logic Data Unit）為基本單位，媒體對(duì)象可以劃分為若干不同的信息元，并依次序進(jìn)行串行通信，自然，在再現(xiàn)時(shí)也會(huì)有媒體間的同步問(wèn)題。
此外，在通信中媒體不可避免地受到干擾，產(chǎn)生延遲或抖動(dòng)，乃至LDU次序的變化等，這就需引入系統(tǒng)同步的概念。
總之，多媒體的同步是指協(xié)調(diào)時(shí)序關(guān)系的機(jī)制，而空間通常可考慮融合入時(shí)間概念之中，如是同步的方法主要是基于時(shí)間上的方式。
二、同步的分類
同步的分類，包含有內(nèi)容同步、空間同步和時(shí)間同步，它們分別描述了媒體對(duì)象內(nèi)部或媒體對(duì)象之間在內(nèi)容、空間和時(shí)間上的關(guān)系。
內(nèi)容同步定義了媒體對(duì)象的內(nèi)容或數(shù)據(jù)和表示規(guī)則或表現(xiàn)形式之間的依賴關(guān)系。比如說(shuō)，數(shù)據(jù)的表格和反映數(shù)據(jù)的圖形，兩者均取于同一組數(shù)據(jù)，而表現(xiàn)方式不同；又比如說(shuō)，有兩種不同的圖形，如直方圖和餅圖，其演示形式不同，但也是基于同一組數(shù)據(jù)。因此兩者在內(nèi)容上相同，只是表現(xiàn)方式不同，或者認(rèn)為是同一內(nèi)容，有不同的描述方式。
在多媒體文件的制作中，內(nèi)容同步的確立是有用的。可以建立表示數(shù)據(jù)與視圖之間映射關(guān)系的“對(duì)象接口”，可以輸入相關(guān)的數(shù)據(jù)而不直接去編輯視圖，自動(dòng)生成相應(yīng)的圖表、圖形等視圖。這也拓展了數(shù)據(jù)庫(kù)在多媒體系統(tǒng)中的應(yīng)用。
空間同步一般認(rèn)為是布局關(guān)系，也就是在多媒體的表現(xiàn)中，在某一時(shí)刻多媒體對(duì)象的空間位置關(guān)系。空間關(guān)系可以是二維或者是三維的。桌面出版物中，空間關(guān)系常用格式或框架來(lái)表達(dá)，這些框架結(jié)構(gòu)常賦予某一個(gè)位置，某一個(gè)顯示窗口及相應(yīng)的面積。用戶可以根據(jù)需要，移動(dòng)窗口，也可放大或縮小窗口，進(jìn)行相應(yīng)的編輯操作。在三維顯示系統(tǒng)中，可進(jìn)行三維的投影或全息顯示。三維方式一般采用了重疊窗口方式，如對(duì)立體聲的音響輸出可進(jìn)行布局；又如在會(huì)議電視中，與會(huì)者的座位，及音響輸出可以進(jìn)行定位。這樣演示顯得更加自然逼真。系統(tǒng)應(yīng)該允許用戶創(chuàng)建三維顯示，并進(jìn)行編輯操作。
時(shí)間關(guān)系定義了媒體對(duì)象及媒體對(duì)象間在時(shí)間上的時(shí)間依賴關(guān)系。這是媒體間關(guān)系的主要方式，在以上所談的內(nèi)容關(guān)系和空間關(guān)系往往也可以歸結(jié)在時(shí)間關(guān)系上來(lái)描述。
三、同步的分級(jí)
1、用戶級(jí)同步
交互同步(Interactive Synchronization)，或“表現(xiàn)”(Presentation)級(jí)同步，是最上層的同步。該級(jí)同步需從用戶的角度出發(fā)，來(lái)設(shè)計(jì)模型框架。所設(shè)計(jì)的模型要能反映和滿足用戶的交互性，容易為用戶所理解，這種模型一般以時(shí)間為控制線索。
多媒體的腳本，類似于電影的腳本，對(duì)小說(shuō)的內(nèi)容，結(jié)合了故事情節(jié)的交化發(fā)展，考慮到何種場(chǎng)景、次序、人物的形象語(yǔ)言等因素，以一個(gè)個(gè)的鏡頭來(lái)呈現(xiàn)給觀眾。但是多媒體腳本還應(yīng)考慮允許用戶的交互參與活動(dòng)。用戶可以根據(jù)場(chǎng)次的控制，借用菜單選擇等具體手法來(lái)控制流程，如反復(fù)觀察某一動(dòng)作細(xì)節(jié)，放大局部的圖像，掠過(guò)用戶所不愿意或沒(méi)有多大興趣的場(chǎng)面等。諸如在外語(yǔ)教學(xué)中，可以反復(fù)收聽(tīng)難以理解的聽(tīng)力段落；在欣賞足球比賽的實(shí)況轉(zhuǎn)播中，可固定住“越位”或“進(jìn)球”動(dòng)作的場(chǎng)面，在了解偵察破案的鏡頭中，可仔細(xì)觀察其中的局部細(xì)節(jié)等等。這種交互性的參與導(dǎo)致了腳本的場(chǎng)次并非按原定的線性關(guān)系延續(xù)，而可有多條路徑。這是多媒體腳本的表現(xiàn)和電影中劇本的表現(xiàn)所不同之處，可以作為多媒體表現(xiàn)的特征。多媒體的表現(xiàn)或演示，相對(duì)于電影或電視完全受制于導(dǎo)演的安排而言，允許用戶的介入，正是其魅力之所在。用戶級(jí)的同步擴(kuò)展了多媒體演示的功能。
2、媒體間同步
媒體間同步(Intermedium Synchronization)，或稱合成同步，是LDU的合成，或不同媒體類型的數(shù)據(jù)之間的合成，其中蘊(yùn)含了空間、時(shí)間的合成。
要進(jìn)行數(shù)據(jù)傳輸，必然要把圖像、語(yǔ)音、文字等多媒體信息，轉(zhuǎn)換為數(shù)據(jù)流形式，并依串行方式在通信系統(tǒng)中傳送至用戶端。LDU作為數(shù)據(jù)塊，其大小與應(yīng)用有關(guān)，可以是一幀、一復(fù)幀或分鏡頭等。在連續(xù)的媒體流中LDU播放的時(shí)間是相同的LDU之間的時(shí)序關(guān)系在捕獲或生成的過(guò)程中業(yè)已形成，并要求在播放時(shí)得到精確的重現(xiàn)。在連續(xù)的LDU之間任何時(shí)間的抖動(dòng)將會(huì)影響播放的質(zhì)量。而與時(shí)間無(wú)關(guān)的媒體沒(méi)有媒體內(nèi)部的同步問(wèn)題，媒體間同步反映了各不同媒體對(duì)象之間的同步關(guān)系。唇同步是在自然客觀的情況中，所獲取的視頻和音頻之間的時(shí)間關(guān)系。而在很多情況中，各個(gè)獨(dú)立生成的諸如文字、圖像、旁白等媒體對(duì)象，則是依腳本的要求，來(lái)指定這些媒體對(duì)象之間的時(shí)間關(guān)系。
另外，在計(jì)算機(jī)支持協(xié)同工作(CSCW，Computer Supported Cooperative Work)中，所有的參加者在自己的桌面上有一個(gè)相同內(nèi)容的窗口，在該窗口中，有一個(gè)公用的指針標(biāo)志，即有一個(gè)指針同步(Point Synchronization)。指針同步實(shí)質(zhì)上反映了媒體對(duì)象之間在時(shí)間上的同步關(guān)系。
為了進(jìn)一步理解媒體間的同步，可以對(duì)靜態(tài)和動(dòng)態(tài)的媒體對(duì)象，以及它們之間的同步相合成，作更多的描述。靜態(tài)和動(dòng)態(tài)是相對(duì)于時(shí)間軸而言的。若在某個(gè)時(shí)間段上表現(xiàn)保持不變，則為靜態(tài)，而在不同時(shí)刻表現(xiàn)的內(nèi)容在不斷地變化，則為動(dòng)態(tài)。文字注釋屬于靜態(tài)對(duì)象，音頻和視頻則可屬于動(dòng)態(tài)對(duì)象。對(duì)象的合成包含了靜態(tài)對(duì)象和動(dòng)態(tài)對(duì)象的三種組合方式，即靜態(tài)與靜態(tài)、動(dòng)態(tài)與動(dòng)態(tài)及靜態(tài)與動(dòng)態(tài)，可分別稱之為靜態(tài)型合成、動(dòng)態(tài)型合成以及混合型合成，靜態(tài)型的合成對(duì)象的表現(xiàn)主要涉及對(duì)象各成分之間的空間組織，如黑板與黑板上的粉筆字之間的位置關(guān)系；動(dòng)態(tài)型的合成對(duì)象的表現(xiàn)主要考慮對(duì)象成分之間的時(shí)間依賴關(guān)系，如運(yùn)動(dòng)圖像和語(yǔ)音解說(shuō)及音樂(lè)烘托之間的時(shí)序關(guān)系。而混合型合成對(duì)象則需要同時(shí)考慮在空間和時(shí)間兩個(gè)方面，如文字與語(yǔ)音的結(jié)合。文字的顯示有空間關(guān)系，而文字的顯示與語(yǔ)音播放相匹配，也就是“寫(xiě)到哪兒，念到哪兒”，具有時(shí)間上的依存關(guān)系。
靜態(tài)與動(dòng)態(tài)是相對(duì)的，靜態(tài)對(duì)象在表現(xiàn)時(shí)，由于與動(dòng)態(tài)對(duì)象的表現(xiàn)在時(shí)間上的關(guān)聯(lián)性，而具有了動(dòng)態(tài)性，而動(dòng)態(tài)對(duì)象可以看作是許多靜態(tài)對(duì)象的組合，在動(dòng)態(tài)圖像的處理上，動(dòng)態(tài)圖像往往作為某一個(gè)時(shí)刻上的靜止圖像來(lái)進(jìn)行加工。同樣空間合成與時(shí)間合成不是相互隔離的，而是統(tǒng)一的。多媒體對(duì)象在表現(xiàn)過(guò)程中與時(shí)間相關(guān)，同時(shí)在每個(gè)表現(xiàn)點(diǎn)上也與空間相關(guān)。多媒體之間的合成，或同步，其調(diào)度策略是以時(shí)間為主線，附加各自的空間。
3、系統(tǒng)同步
系統(tǒng)同步或多媒體內(nèi)部同步（Intramedia Synchronization）是底層同步。所謂系統(tǒng)同步，是指該層的同步如何根據(jù)各種輸入媒體對(duì)應(yīng)的系統(tǒng)設(shè)備的性能指標(biāo)來(lái)協(xié)調(diào)實(shí)現(xiàn)其上層合成同步所描述的各媒體對(duì)象間的時(shí)序關(guān)系。在單機(jī)條件下，同步技術(shù)要涉及媒體的存取速度，壓縮解壓的生成和還原時(shí)間、圖像的顯示和聲音的播放等時(shí)間因素，而在通信系統(tǒng)中，則要考慮多媒體數(shù)據(jù)段在傳輸變換中的延遲、抖動(dòng)、分組中的時(shí)間次序錯(cuò)位、丟失等情況，要考慮不同類型的媒體數(shù)據(jù)段對(duì)于通信中的吞吐量、最大時(shí)延、最大抖動(dòng)、允許誤比特率、允許誤分組率的不同的實(shí)際要求。此外，還要進(jìn)一步分析研究經(jīng)過(guò)壓縮編解碼的多媒體數(shù)據(jù)在數(shù)據(jù)通信中所受到的影響及其帶來(lái)的嚴(yán)重性。故而多媒體通信的同步機(jī)制是相當(dāng)復(fù)雜的。對(duì)于傳送多媒體的通信平臺(tái)，應(yīng)根據(jù)不同媒體對(duì)象的需求特點(diǎn)，分析其所需QoS，決定傳輸策略，安排不同的傳輸信道，采用合適的通信規(guī)約，選擇相應(yīng)的交換方式等等。例如對(duì)語(yǔ)音可采取延遲短、延遲變化小的傳輸方式，而對(duì)數(shù)據(jù)要采用可靠保序的傳輸方式。在通信中需要認(rèn)真考慮的多媒體的同步問(wèn)題，而在用戶端的媒體輸出時(shí)，計(jì)算機(jī)終端也應(yīng)考慮協(xié)作，承擔(dān)多媒體的同步問(wèn)題的處理。
在現(xiàn)實(shí)情況中，多媒體通信系統(tǒng)是個(gè)資源受限的系統(tǒng)。所謂資源受限表現(xiàn)在以下兩個(gè)方面。其一通信信道帶寬受限，其次是終端計(jì)算機(jī)存儲(chǔ)容量受限。如果這兩方面不受限制，同步的情況要好得多。比如說(shuō)，若信道帶寬不受限制，那么就可以比較好地安排各種媒體信息間的關(guān)系，各種類型媒體流可以及時(shí)到達(dá)終端，以便于忠實(shí)地再現(xiàn)腳本的內(nèi)容。而若存儲(chǔ)的容量足夠大，就可以通過(guò)先把所有信息全部接收下來(lái)，然后再組織各類媒體數(shù)據(jù)流的方法實(shí)現(xiàn)同步播放。當(dāng)然，兩者不可偏廢，若僅僅是容量足夠大，而傳輸帶寬不夠，在存儲(chǔ)器的多媒體數(shù)據(jù)播送完畢，后續(xù)的數(shù)據(jù)流就不能及時(shí)跟上，這就可能出現(xiàn)存儲(chǔ)器的“餓死”現(xiàn)象，相當(dāng)于出現(xiàn)一臺(tái)放映機(jī)放映完畢之后，而另一臺(tái)放映機(jī)沒(méi)有電影膠片，放出“空片”，從而造成斷片現(xiàn)象。若傳輸帶寬非常大，顯然是不經(jīng)濟(jì)的；存儲(chǔ)容量過(guò)小，又有可能“擁塞”，尚未輸出的部分緩存數(shù)據(jù)會(huì)被覆蓋。存儲(chǔ)容量對(duì)于帶寬，或者說(shuō)是對(duì)媒體LDU的先后到達(dá)，特別在媒體對(duì)象類型不同的情況下，起了補(bǔ)償，或者說(shuō)是緩沖作用。
