Appen Shasta地圖搜索評估員入門考試備考密笈

這篇簡單地介紹如何準備Appen Shasta Map Search Evaluator入門資格考. 如果想要順利一次就通過考試, 一定要詳讀整本英文版的學習手冊和使用指南, 並且做完Shasta提供的模擬考/simulator. 

在考試時, 切記每題都要配合著使用指南和利用Shasta提供的Map decision tree來決定Relevance的評分.

首先, 先看認識一下做評估時的畫面:

1) Navigational result?

決定query本身在真實的世界裡是否能搜尋到一個完全滿足用戶意圖的導航結果.

這個評估的基本準則是:
基本上, 太籠統的, 答案都是No. 例如, 如果query是"電影院", "速食店", "新光三越", "星巴克" (因為很多分店), 那麼答案都是NO.

如果是很明確的指出一個具有單一性和獨特性結果的, 答案才是Yes. 例如, "台北火車站", "新公園", 或是完整的地址.

所以, 結論便是: 但凡是category/chain business query, 如果沒有給一個location modifier, 那麼這題的答案就是No.

⧪ 在Results:的部份, 不要忘了下面2個小框框也要評估. 

如果Results出來是不是英文(因為考試時是全英文, 真實工作時, 在台灣就會是中文), 也不是搜尋地的當地語言(例如, 如果搜尋韓國的某個地點, 出來的result是韓文, 就不用勾), 則要勾選 "result name/title is in unexpected language or script."

⧪ 在Results:的部份, 如果query在真實搜尋結果裡是已關閉的或是不存在的, 那麼記得勾選"business/POI closed or does not exist".

2) Relevance

這是這裡面最難決定的部份, 也是最花時間下決定的問題, 因為有多太模擬兩可的情況, 所以, 如何評估Relevance呢? 強烈建議請務必善用Shasta提供的Map decision tree, 可以幫你省下很多時間! 這裡附上一段短短的影片如何利用Map Decision Tree決定Relevance的評分.

⧪ Relevance是決定於result和用戶query二者之間的關係, 主要取決定下面三個要素:

• Result 是否滿足了用戶的 user intent

• Result 的Prominence

• Result 與location intent(user or viewport)之間的距離

⧪ Relevance/關聯性的評分一共有五級:
Navigational/Excellent/Good/Acceptable/Bad.

其中, Navigational/Excellent有時候很難區分其差別性, Good/Acceptable也是很難決定, 但是如果你使用Shasta的Map decision tree, 它可以幫你理清很多模擬兩可的地方, 有易於下決定.

基本上, Navigational和Excellent的差別在於Navigational不僅僅是滿足了用戶的需求, 而且只有一個結果, Excellent則是滿足了用戶所有的需求, 但結果可能不止一個, 所以連鎖店通常符合這項要求, 所以通常連鎖店的最高評分只能到Excellent.

⧪ Good和Acceptable的最大差別在於:

Good - 在關聯性, 主要性和距離上部份的滿足了用戶的意圖

Acceptable - 則是result 在技術上滿足了用戶的意圖，但是關聯性或是距離太差.

⧪ 要評估Relevnace, 可以參考下面的幾個步驟:

1) 決定query和result之間的關聯性.

首先先決定result符合了下面那一個user intent (5.2)

接下來, 決定query和result 之間的關聯性.

請記住, 滿足用戶意圖user intent只是決定"關聯性評估"的第一步, 距離和重要明顯性則是下一步具有決定性來做評分的關鍵.

➤Initial Rating : 檢查result是否滿足用戶意圖/user intent, 是關聯性評分的第一步. 
➤Final rating : 檢查result 的顯著性和距離則是第二步用來決定關聯性的評分.

2) 在考量距離時, 要先決定location intent是viewport還是user's location. 

有二種型態的Location intent

➤ Explicit/明確的: 這類型的 query 是清晰明確的指出了特定的地點
➤ Implicit/隱喻的: 這類到的 query 則沒有明確的地點, 你必須從內容中去找線索, 利用user location 和 viewport 來決定最符合用戶預期的地點

⧪ 如果是Explicit/明確的地點, 那麼在決定relevance 時, 可以不用考慮user location 和 viewport 

⧪ 如果query裡面含有"near me"或是"nearby"或是"nearest"的字樣時, viewport的位置可以不用考慮, 以user location為距離位置的考量點, 這樣的query算是Explicit location.

讓我們來看看為Relevance評分時的流程圖: (decision tree會自動帶你走)

其他幾個評分的重點準則:

➤ 評分時請務必參考真實世界的"搜尋結果"而非在題目中出現的"搜尋結果". 也就是說, 如果考題裡的搜尋結果只有3個, 但真實世界卻有20個, 那麼以真實世界的結果為主, 並且依真實世界結果的位置和距離來扣分. 

在使用手冊中使用的例子是Starbucks. 下圖紫色的圓點是在真實世界地圖上的Starbucks, 所以評分時, 要考慮進去, 不是只看紅色的PINs.

➤ If there are results that are extremely inappropriate or illegal, rate Bad. Identify such content by determining if the result is likely to be embarrassing if seen by users. 

➤ 如果搜尋結果有附 Classification → 那麼就會是POI, 不會是address result. Address結果是沒有Classification的.

➤ category 和chain business queries一般是不會有 navigational results.

➤ 如果viewport 的時間超過 15 分鐘, 則以user location為考量點.

➤ User intent/用戶意圖: 指的是用戶搜尋query和搜尋結果與 user location, user viewport, 和viewport age之間的互動.

➤ queries types: address, POI, business, category, Coordinate and “My location”, emoji queries.

➤ results types: Business/POI, address, Features without an expected address

在為Relevance評分時要考慮的問題太多了, 如果使用Shasta提供的Map decision tree, 它幫你全部都做好了把關, 可以省下很多時間, 和避免很多錯誤哦.

現在我們回頭來看看上面這題用戶搜尋Barbeque, 搜尋返回結果是一家叫做Smoque BBQ的餐廳時, 這二者之間的關聯性評分應該為何?

3) Name

名字的評分則很簡單了, 只要記住一點, 評分的標準一律以搜尋結果的官方網站為準. 另外其他幾個比較值得注意的重點如下:

➤  當為名字正確性做評估時, 不僅是名字要正確, 請同時檢查分類classification. Name 和classification 二者有其一不對時, 則評分為Incorrect

➤ 如果搜尋結果是address type, 那麼將沒有classification, 同時Name的評分會是n/a

⧪ "The" 的存在與否? 
➤ 如果官方網站是有"The", 但result是沒有→ 評分為Correct
➤ 如果官方網站是沒有"The", 但result是有加一個"The"→ 評分為 Partially correct

4) Address

地址的評分也很簡單了, 評分的標準也一律以搜尋結果的官方網站為準. 另外其他幾個比較值得注意的重點如下:

➤ 不論是街名還是地區名, 只要有一點錯就評為Incorrect

5) PIN

PIN的評分標準也是分五級:

Perfect/Approximate/Next Door/Wrong/Can’t Verify

➤ Perfect: PIN的落點在result的正屋頂上.
➤ Approximate: PIN的落點在所謂的"Half 'n Half"範圍內, 通通評為Approximate
➤ Wrong: PIN的落點在在Approximate的範圍之外的全評為Wrong
➤ Can't Verify: 如果地址的評分是Incorrect, 那麼PIN則可以評為Can't Verify
➤ Next Door: 被評為Next Door 有幾個基本的條件要符合→同一條街, 同樣的街名, 同一條街的同一邊, 不能在馬路對面
➤ 如果符合所謂的"Half 'n Half"範圍, 那麼就不能評為Next Door

例外:

⧪ 如果result是校園, 那麼PIN的評分裡則沒有Approximate和 Next Door這二個等級.
⧪ 如果是Transit POI, 那麼就沒有 Next Door的評分.

➤評估時以真實世界搜尋資料為主, 其中包括了PIN的落點, 名字, 地址及分類.

➤地址和名字, 如果可能的話, 儘可能與官網對照.

接下來, 請參考這個官方的英文版影片, 短短的四分多鐘, 教你如何完整並正確的為一個用戶query來評分. (如果真的有需要中文版的, 請留言, 如果需要人數多, 站長可以加入中文旁白) 

最後, Appen Shasta地圖搜索評估員入門考試一共分二個部份:

➤ 第一部份: 20題理論題. 並不難, 所有答案都能在[使用手冊]中找到, 建議不要急, 慢慢做, 目標全對. 儘量在第一天就把理論題先做完, 把剩餘的6天留給實務題.

➤ 第二部份: 就有挑戰了. 一共22題實務題, 但大部份也都能在使用手冊中找到同類型的, 可以參考. 看起來如下圖(點圖可放大), 要回答完整的 Relevance/Name/Address/PIN Accuracy. 也是建議花時間找到標準答案再做, 平均一下一天至少做4-5題. 如果平時白天要上班, 那麼就利用週末多做一些.

如先前提到, 備考過程費時又燒腦, 所以, 要有心理準備, 不要已經花了時間和心力準備, 又中途放棄, 那就虧大了. 一旦考核通, 付款是月結. 這份工作, 只會愈作愈順手, 但一開始的確比較花時間.

祝好運!!

<延伸閱讀>
Shasta實務考試試題範例及評分講解

如果覺得本篇對您有幫助, 請加入臉書粉專, 才不會錯過更多新的資訊哦.

天馬行空 - 365個平凡無奇日子裡的無限可能

或者