Barrier Scheduling and Distributed Training in SynapseML's LightGBM

Zapraszam na kolejne spotkanie online, na którym Jacek Laskowski przedstawi praktycznie(j) przez przykłady użycie i znaczenie Barrier Scheduling (Spark Core) 🔥

W ramach praktycznego zrozumienia Barrier Scheduling przyjrzymy się SynapseML's LightGBM, a dokładniej kodowi źródłowemu (Scala).

Nie znam SynapseML oraz niewiele wiem o LightGBM i "decision tree algorithms for ranking, classification, and many other machine learning tasks", ale pokażę, gdzie i jak korzysta się z Barrier Scheduling do trenowania modeli uczenia maszynowego w rozproszonym środowisku Apache Spark / Databricks.

W ten sposób liczę, że zbliżę praktyków uczenia maszynowego, którym brakuje wiedzy, jak to przyspieszyć korzystając ze Sparka i Databricks, w czym mogą pomóc praktycy Sparka i Databricks, którzy z kolei niewiele wiedzą na temat takich "cudów" jak LightGBM czy decision tree algorithms (co udowadniam na swoim przykładzie 😎).

Celem spotkania jest przedstawienie obecnej wiedzy prezentera (to o mnie 😎), jak to działa pod spodem, abyście też wiedzieli (to o Tobie 🫵), ale przede wszystkim stworzenie przestrzeni do wymiany doświadczeń między różnymi grupami teoretyków i praktyków, których łączy korzystanie z projektu Apache Spark i produktu Databricks.

(Daj znać w pytaniu przy rejestracji na meetup, czy takie podejście jest właściwe i co należałoby usprawnić 🙏).

Do zobaczenia! 👋

---

Czegoś brakuje? Coś niejasne? Masz pytania, sugestie lub chcesz pomóc, skontaktuj się ze mną na jacek@japila.pl. Każda pomoc mile widziana!

Proszę o nagłośnienie meetupu wśród Twoich znajomych. Dziękuję i zapraszam!