雷鋒網(wǎng) AI 開發(fā)者按：近日，谷歌母公司 Alphabet 旗下的自動(dòng)駕駛公司 Waymo 宣布開源他們團(tuán)隊(duì)的自動(dòng)駕駛數(shù)據(jù)庫，以幫助研究界在機(jī)器感知與自動(dòng)駕駛技術(shù)方面實(shí)現(xiàn)突破。公開的數(shù)據(jù)集由 Waymo 自駕汽車在各種條件下采集的高度標(biāo)注數(shù)據(jù)組成，包括了覆蓋多個(gè)地點(diǎn)的 1000 個(gè)駕駛段上收集的數(shù)據(jù)。
Waymo 首席科學(xué)家兼項(xiàng)目負(fù)責(zé)人 Drago Anguelov 表示，該數(shù)據(jù)集是有史以來最大、最豐富、最多樣化的自動(dòng)駕駛數(shù)據(jù)集之一。Waymo 也發(fā)布了相關(guān)博客來介紹該數(shù)據(jù)集，雷鋒網(wǎng) AI 開發(fā)者將其整理編譯如下。
數(shù)據(jù)集簡(jiǎn)介
數(shù)據(jù)是機(jī)器學(xué)習(xí)的關(guān)鍵要素。我們的車輛在 25 個(gè)城市收集了超過 1000 萬英里的自動(dòng)行駛里程數(shù)據(jù)；這一豐富多樣的實(shí)際數(shù)據(jù)幫助我們的工程師和研究人員開發(fā)了 Waymo 的自動(dòng)駕駛技術(shù)和創(chuàng)新的模型及算法。
現(xiàn)在，我們邀請(qǐng)研究界加入我們的 Waymo 開放數(shù)據(jù)集中，該數(shù)據(jù)集是一個(gè)用于自主駕駛的高質(zhì)多模式標(biāo)注數(shù)據(jù)集。它由 Waymo 自駕車輛收集的高度標(biāo)注數(shù)據(jù)組成，數(shù)據(jù)集涵蓋了各種各樣的環(huán)境，從密集的城市中心到郊區(qū)景觀，以及白天和黑夜、黎明和黃昏、晴天和下雨天中收集的數(shù)據(jù)。所有感興趣的研究人員都可以在https://waymo.com/open/ 免費(fèi)下載。
圖 1 Waymo 開放數(shù)據(jù)集涵蓋了從密集的城市中心到郊區(qū)景觀的各種環(huán)境
數(shù)據(jù)集具體內(nèi)容
我們相信它是有史以來最大、數(shù)據(jù)最豐富、最多樣化的自動(dòng)駕駛數(shù)據(jù)集之一。數(shù)據(jù)集包含：
尺寸和覆蓋范圍：此版本包含 1,000 個(gè)自動(dòng)駕駛路段的數(shù)據(jù)。每個(gè)數(shù)據(jù)片段捕獲 20 秒的連續(xù)駕駛過程，相當(dāng)于每個(gè)鏡頭標(biāo)注參數(shù)為 10 Hz 的 200,000 幀。這樣的連續(xù)鏡頭可以使得研究人員易于開發(fā)模型來跟蹤和預(yù)測(cè)其它道路使用者的行為。
多樣化的駕駛環(huán)境：該數(shù)據(jù)集涵蓋鳳凰城、亞利桑那州、柯克蘭、華盛頓州、山景城、加利福尼亞州和加利福尼亞州舊金山的密集城市和郊區(qū)環(huán)境，并捕捉了各種駕駛條件下的數(shù)據(jù)（包含：白天和黑夜、黎明和黃昏、晴天和下雨天）。
高分辨率的 360 度視圖：每個(gè)分段包含了來自五個(gè)高分辨率 Waymo 激光雷達(dá)和五個(gè)前置與側(cè)面攝像頭的數(shù)據(jù)。
密集標(biāo)注：數(shù)據(jù)集包括激光雷達(dá)框架和圖像；車輛、行人、騎自行車者和標(biāo)識(shí)牌都經(jīng)過了精心的標(biāo)記，共捕獲了 1200 萬個(gè) 3D 標(biāo)注和 120 萬個(gè) 2D 標(biāo)注。
圖 2 數(shù)據(jù)集包括 Waymo 高清攝像機(jī)的攝像機(jī)鏡頭和 120 萬個(gè) 2D 標(biāo)簽
相機(jī) - 激光雷達(dá)同步：我們一直致力于融合了來自多個(gè)攝像頭和激光雷達(dá)數(shù)據(jù)的 3D 感知模型。我們?cè)O(shè)計(jì)了整個(gè)自驅(qū)動(dòng)系統(tǒng)，包括可以無縫地協(xié)同工作的硬件和軟件，也包括了對(duì)傳感器位置的選擇和高質(zhì)量時(shí)間同步設(shè)置。
圖 3 數(shù)據(jù)集包含了高質(zhì)時(shí)間同步的激光雷達(dá)與相機(jī)拍攝數(shù)據(jù)
數(shù)據(jù)集現(xiàn)狀
Waymo 開發(fā)的數(shù)據(jù)集目前包含來自 1000 個(gè)片段（每個(gè)數(shù)據(jù)片段大小為 20s）的激光雷達(dá)和相機(jī)拍攝數(shù)據(jù)，以下是當(dāng)前包含的內(nèi)容：
1000 個(gè)片段，每段 20s 錄像，在不同的地理位置和條件下以 10 Hz（200000 幀）參數(shù)進(jìn)行收集。
傳感器數(shù)據(jù)
1 個(gè)中程激光雷達(dá)
4 個(gè)短程激光雷達(dá)
5 個(gè)攝像頭（正面和側(cè)面）
時(shí)間同步的激光雷達(dá)和相機(jī)拍攝數(shù)據(jù)
激光雷達(dá)到相機(jī)的投影數(shù)據(jù)
傳感器校準(zhǔn)和車輛姿態(tài)數(shù)據(jù)
標(biāo)記數(shù)據(jù)
4 個(gè)對(duì)象類別的標(biāo)注，包括：車輛、行人、騎自行車者、標(biāo)志
所有 1000 個(gè)區(qū)段的激光雷達(dá)數(shù)據(jù)的高質(zhì)量標(biāo)注
帶有激光雷達(dá)數(shù)據(jù)跟蹤 ID 的 12M 3D 邊界框標(biāo)注
100 段攝像機(jī)數(shù)據(jù)的高質(zhì)量標(biāo)注（之后將添加更多內(nèi)容）
具有攝像機(jī)數(shù)據(jù)追蹤 ID 的 1.2M 2D 邊界框標(biāo)注
代碼
可通過 GitHub 進(jìn)行訪問，https://github.com/waymo-research/waymo-open-dataset。
這些數(shù)據(jù)可用于非商業(yè)用途，但研究的定義相當(dāng)廣泛，其他企業(yè)、學(xué)者和研究人員都可以使用；可通過（https://waymo.com/open/terms/）查看詳細(xì)許可協(xié)議。
數(shù)據(jù)集意義及未來計(jì)劃
在機(jī)器學(xué)習(xí)研究方面，獲得相應(yīng)的數(shù)據(jù)能很好的將想法變成真正的創(chuàng)新。這些數(shù)據(jù)有可能幫助研究人員在 2D 和 3D 感知方面取得進(jìn)展，并在場(chǎng)景適應(yīng)、場(chǎng)景理解和行為預(yù)測(cè)等領(lǐng)域取得進(jìn)展。我們希望研究界能夠通過我們的數(shù)據(jù)發(fā)現(xiàn)更多令人興奮的研究方向，這不僅有助于使自動(dòng)駕駛車輛更加安全強(qiáng)大，而且還會(huì)影響其他相關(guān)領(lǐng)域和應(yīng)用，例如：計(jì)算機(jī)視覺和機(jī)器人技術(shù)。
雖然這個(gè)數(shù)據(jù)集不能反映我們傳感器系統(tǒng)的全部功能，并且它只包含 Waymo 自動(dòng)駕駛系統(tǒng)訓(xùn)練所依據(jù)數(shù)據(jù)的一小部分，但我們相信出于研究目的，這個(gè)大型、多樣化和高質(zhì)量的數(shù)據(jù)集是非常有價(jià)值的。
我們計(jì)劃將很快擴(kuò)大這個(gè)數(shù)據(jù)集的規(guī)模。除此之外，我們還計(jì)劃后續(xù)在此數(shù)據(jù)集上發(fā)布一些基準(zhǔn)模型的性能；到時(shí)，我們會(huì)為使用該數(shù)據(jù)集的人提供相應(yīng)的挑戰(zhàn)賽。
Waymo 官網(wǎng)
https://waymo.com/open/
博客地址
https://medium.com/waymo/waymo-open-dataset-6c6ac227ab1a
GitHub 地址
https://github.com/waymo-research/waymo-open-dataset
雷鋒網(wǎng)(公眾號(hào)：雷鋒網(wǎng)) AI 開發(fā)者 雷鋒網(wǎng)
