科技日報訊1月5日，看圖說話從華中科技年夜學得悉，實現該校軟件學院白翔傳授領銜的更準VLRLab團隊正式發布多模態年夜模子——Monkey。該模子可切確形容圖片內容，看圖說話並和人類就圖片內容舉行深切交流。實現多模態年夜模子是更準一類可以同時處置懲罰和整合多種感知數據的AI架構。近年來，看圖說話它在浩繁場景中揭示出較年夜後勁。實現據先容，更準Monkey在18個數據集上的看圖說話試驗中體現精彩，在圖片形容、實現視覺問答使命以及文本密集的更準問答使命中具備上風。據先容，看圖說話今朝，實現險些一切多模態年夜模子都需求運用網上爬取的更準圖文對數據集。這些數據集隻能讓年夜模子實現簡樸的圖文形容使命，難以充實開掘圖片分辯率日益增長的上風。為解決上述問題，Monkey研發團隊哄騙現有東西構建了一種多層級的形容天生要領。經由過程依次對圖片舉行全體簡述、空間定位、模塊化辨認、形容賦分拔取和終極總結，該要領可年夜幅晉升圖片形容的正確性和富厚水平。“一個個東西就比如差別的整機，合理擺列組合才氣使其闡揚最高文用。”白翔說，他地點的團隊從2003年就最先從事圖片辨認研究。他們一路重複會商，測驗考試了10餘種方案後才確定Monkey的終極方案。白翔先容，Monkey的另一亮點是能處置懲罰分辯率高達1344×896像素的圖片，這是今朝其餘多模態年夜模子所能處置懲罰的最年夜尺寸的6倍。這象征著Monkey能對更年夜尺寸的圖片舉行更正確、富厚、過細的形容甚至推理。據悉，今朝業內能處置懲罰的圖片最年夜分辯率為448×448像素。若想進一步晉升多模態年夜模子的圖片處置懲罰能力，需投入昂揚的算力老本。該團隊成員劉禹良先容，為解決上述問題，團隊接納立異性的“裁剪”要領。他們將原始輸出圖片支解成多個圖片塊，每個圖片塊的尺寸小於448×448像素。他們還為每個圖片塊裝備了一個“縮小鏡”，將“縮小鏡”放到圖片塊適合的位置即可“看”清更多細節。多個“縮小鏡”同時事情，別離“縮小”差別的圖片塊，就能提取更多圖片局部特性。杜鵑花海茶飄噴鼻2025年4月10日，安徽省蕪湖市有為市昆山鎮三公山茶葉蒔植基地，千畝平地家養杜鵑在青翠的茶園之間燦豔綻開，竹苞鬆茂，琳琅滿目2025-04-1015:13泰州薑堰:科技立異賦能財產成長近年來，江蘇省泰州市薑堰區以科技立異賦能財產成長、以財產立異動員技能衝破，連續優化營商情況，迭代進級“堰商匯”數智親商辦事平台，厚植平易近營經濟成長膏壤，以高品質辦事促成平易近營企業高品質成長。2025-04-0618:06慕田峪長城山花爛漫2025年4月1日，北京懷柔慕田峪長城表裏山花怒放，漂亮的春花把古長城妝扮的多姿多嬌，如同春天裏一幅壯美的風光畫2025-04-0215:44引江濟淮菜巢線複航2025年4月1日，船舶飛行在安徽省合肥市廬江縣境內的引江濟淮航道上，標記著菜子湖濕地留鳥越冬季禁航竣事，菜巢線恢複通航2025-04-0115:40太湖之濱春光如畫2025年3月31日，江蘇姑蘇吳中區光福鎮，太湖之濱，桃花、櫻花、油菜花等競相綻開，生態柔美，春光如畫2025-04-0115:31用鏡頭記載都會更新青島首屆“百家媒體看轉變”勾當圓滿終結用鏡頭記載都會更新青島首屆“百家媒體看轉變”勾當圓滿終結2025-03-2010:14“昭君杯”首屆天下老年獨唱年夜賽在京啟動"昭君杯"首屆天下老年獨唱年夜賽在北京年夜劇院正式啟動2025-03-1916:10金沙江特年夜橋搶抓施工2025年2月25日，雲南省昭通市綏江縣，新市金沙江特年夜橋施工現場，工人正加緊施工。2025-02-2615:41梅花綻開報春來2025年2月7日，重慶市巫山縣曲尺鄉月明村一年夜片梅花競相開放、燦若彤霞，旅客和市平易近前來嬉戲打卡，盡享春日的歡愉和舒服2025-02-0814:52非遺進景區助推文旅交融2025年2月5日，福建省福清市石竹山風光區，一場非遺英歌舞、建甌挑幡等非遺演出正在舉行，讓旅客感觸感染中華優異傳統文明魅力，富厚景區文明內在和旅遊質量2025-02-0615:55濕地公園生態美2025年1月20日，江西省贛州市章貢區都會中心公園內，遊船與湖水、植被、高樓彼此映托，出現出一幅冬日多彩漂亮生態畫卷2025-01-2015:30鹽湖綻開“硝花”景不雅2025年1月16日，受高溫氣候影響，山西省運城鹽湖呈現冬季怪異的“硝花”景不雅，水麵上的硝花形態萬千晶瑩剔透，琳琅滿目。2025-01-1615:56《龜茲》：從千年壁畫穿梭而來的魂靈之舞一位“行者”行走在廣袤的戈壁中，諱飾著絕世的臉蛋，一壁“古鏡”掩埋於厚重的沙下，刻滿了時間的裂縫。2025-01-1317:25雪後叢林裹銀裝2025年1月9日，重慶市酉陽土家族苗族自治縣桃花源叢林公園白雪皚皚，雪景如畫2025-01-0915:24關愛卡暑假公益行助力雲南各族青少年兒童胡想起航關愛卡暑假公益行助力雲南各族青少年兒童胡想起航2025-01-0814:42集年夜原遊覽專列首發2025年1月5日，在山西太原南站開往呼和浩特東站的D4022次列車前，旅客自拍合影。2025-01-0616:01生態田園2024年12月8日，廣西梧州岑溪市岑城鎮木榔村，生態田園中阡陌縱橫線條分明，冬韻如畫。2024-12-1016:48冬日景美2024年12月10日，貴州省黔西市綠化白族彝族鄉年夜海子村，青山環抱樹木碧綠，組成一幅漂亮的生態畫卷。2024-12-1016:40色調斑斕映蘇州2024年12月6日，古城姑蘇陌頭，成片的銀杏、紅楓等樹木色調斑斕滿目繽紛，成為一道誘人的風光。2024-12-0615:48“漂亮經濟”助力村落振興2024年12月6日，初冬時節，山東省青島市即墨區靈山街道花草蒔植基地的年夜棚裏一片忙碌，蒔植戶忙著管護花草。2024-12-0615:48加載更多