Mapper-ის ან რუკის სამუშაოს გამომავალი (გასაღები-მნიშვნელობის წყვილები) შეყვანილია Reducer-ში რედუქტორი იღებს გასაღები-მნიშვნელობის წყვილს მრავალი რუკის სამუშაოდან. ამის შემდეგ, რედუქტორი აგროვებს მონაცემთა შუალედურ ტოპებს (შუალედური გასაღები-მნიშვნელობის წყვილი) მცირე ზომის წყვილებში ან გასაღები-მნიშვნელობის წყვილებში, რაც საბოლოო გამომავალია.
რას აკეთებენ მაპერები და რედუქტორები?
Hadoop Mapper არის ფუნქცია ან დავალება, რომელიც გამოიყენება ფაილიდან ყველა შეყვანის ჩანაწერის დასამუშავებლად და გამოსავლის გენერირებისთვის, რომელიც მუშაობს როგორც შემავალი Reducer ის აწარმოებს გამომავალს ახალი დაბრუნებით. გასაღები-მნიშვნელობის წყვილი. … რუკების დამუშავება ასევე აგენერირებს მონაცემთა მცირე ბლოკებს შეყვანის ჩანაწერების გასაღები-მნიშვნელობის წყვილის სახით დამუშავებისას.
რა განსხვავებაა მაპერსა და რედუქტორს შორის?
რა არის მთავარი განსხვავება Mapper-სა და Reducer-ს შორის? Mapper ამოცანა არის დამუშავების პირველი ფაზა, რომელიც ამუშავებს თითოეულ შეყვანის ჩანაწერს (RecordReader-დან) და ქმნის შუალედურ გასაღები-მნიშვნელობის წყვილს. შემცირების მეთოდი გამოიძახება ცალ-ცალკე თითოეული გასაღების/მნიშვნელობების სიის წყვილისთვის.
როგორ გამოვთვალოთ რუკების და რედუქტორების რაოდენობა?
ეს დამოკიდებულია იმაზე, თუ რამდენი ბირთვი და რამდენი მეხსიერება გაქვთ თითოეულ მონაზე. ზოგადად, ერთმა მაპერმა უნდა მიიღოს 1-დან 1,5 ბირთვამდე პროცესორი ასე რომ, თუ თქვენ გაქვთ 15 ბირთვი, შეგიძლიათ აწარმოოთ 10 Mapper თითო კვანძზე. ასე რომ, თუ თქვენ გაქვთ 100 მონაცემთა კვანძი Hadoop Cluster-ში, შეგიძლიათ გაუშვათ 1000 Mappers კლასტერში.
როგორ მუშაობს Mapper ფუნქცია?
Mapper არის ფუნქცია, რომელიც ამუშავებს შეყვანის მონაცემებს ამუშავებს მონაცემებს და ქმნის მონაცემთა რამდენიმე მცირე ნაწილს. Mapper ფუნქციის შეყვანა არის (გასაღები, მნიშვნელობა) წყვილების სახით, მიუხედავად იმისა, რომ MapReduce პროგრამის შეყვანა არის ფაილი ან დირექტორია (რომელიც ინახება HDFS-ში).
