職位描述
該職位還未進行加V認證,請仔細了解后再進行投遞!
崗位描述:
1. 負責對基于大模型構建的通用垂類應用進行效果和質量評估;通過與產品研發團隊的緊密合作,制定評估標準和體系,準確分析評估效果,為應用的優化和改進提供支持,以提升應用的性能、用戶體驗和市場競爭力;
2. 應用效果與質量評估: 1)負責評估基于大語言模型構建的通用垂類應用的效果和質量,包括但不限于語言理解準確性、生成內容的合理性、邏輯連貫性、知識準確性等方面; 2)參與設計測試用例,涵蓋不同場景、用戶需求和輸入條件,以確保應用在各種情況下的穩定性和可靠性; 3)參與收集和分析用戶反饋數據,結合實際使用情況,對應用的性能和用戶體驗進行綜合評估;
3. 評估標準與體系建設: 1)理解業務需求和產品目標,與產品研發團隊密切溝通和協作,負責制定詳細、明確的評估標準和指標體系; 2)理解評估數據的收集、整理和分析流程,確保評估數據的完整性和可靠性,為評估體系的持續改進提供數據支持;
4. 評估效果分析與報告:撰寫評估報告,清晰闡述評估方法、過程、結果和結論,為產品研發團隊提供決策依據和改進方向。能力要求:
1. 本科及以上學歷,有AI數據生產和評估相關領域背景,具備2年以上訓練師團團隊管理經驗;
2. 能準確理解業務訴求,對質量/數據變化敏銳,能通過獨到的視角或科學的方法發現并解決問題,推動業務指標達成和策略落地;
3. 有自然語言處理、搜索、人工智能領域相關工作經驗,有AI項目交付經驗者優先;
4. 有想象力、良好的理解閱讀能力和創意,了解國內外各種類型的AI產品玩法,如工具類(GPT、豆包、文心一言等)娛樂類(貓箱、星野、CAI等)多模態AI(Midjourney、可靈等);
5. 熟悉大語言模型,有數據標注與管理的經驗,具備從訓練數據到模型效果評估到優化的完整經驗者優先;
6. 熟練使用Excel等數據分析工具,具備數據獲取、分類和分析能力;
7. 對AI產品有熱情與熱愛,具備出色的好奇心與學習能力,能適應較快節奏的工作方式
工作地點
地址:成都武侯區成都-武侯區雙楠島·文創園區6樓


職位發布者
魏先生HR
北京三快在線科技有限公司

-
交通·運輸·物流
-
1000人以上
-
國內上市公司
-
北四環西路9號