Limang Pamamaraan ng Machine Learning na Dapat Malaman ng mga Crypto Trader

Sa isang kamakailang artikulo, tinalakay ko ang kaugnayan ng mga diskarte sa pag-aaral ng machine na nagpapagana sa sikat na OpenAI's GPT-3 na maaaring magkaroon para sa Crypto market. Ang GPT-3 – na maaaring sumagot sa mga tanong, magsagawa ng pagsusuri sa wika at bumuo ng teksto – ay maaaring ang pinakasikat na mga nagawa sa mga nakaraang taon ng malalim na espasyo sa pag-aaral. Ngunit, sa anumang paraan, ito ba ang pinaka naaangkop sa espasyo ng Crypto . Sa artikulong ito, gusto kong talakayin ang ilang bagong bahagi ng malalim na pag-aaral na maaaring magkaroon ng NEAR agarang epekto sa mga Quant model na inilapat sa Crypto.

Si Jesus Rodriguez ay ang CEO ng IntoTheBlock, isang market intelligence platform para sa mga Crypto asset. Siya ay humawak ng mga tungkulin sa pamumuno sa mga pangunahing kumpanya ng Technology at mga pondo ng hedge. Siya ay isang aktibong mamumuhunan, tagapagsalita, may-akda at panauhing lektor sa Columbia University sa New York.

Ang mga modelo tulad ng GPT-3 o BERT ng Google ay resulta ng isang napakalaking tagumpay sa malalim na pag-aaral na kilala bilang language pretrained at transformer models. Ang mga diskarteng ito, masasabing, ay kumakatawan sa pinakamalaking milestone sa huling ilang taon ng malalim na industriya ng pag-aaral at ang epekto nito ay T napapansin sa mga capital Markets.

Noong nakaraang taon, nagkaroon ng mga aktibong pagsisikap sa pagsasaliksik sa dami ng Finance na nag-e-explore kung paano mailalapat ang mga modelo ng transformer sa iba't ibang klase ng asset. Gayunpaman, ang mga resulta ng mga pagsisikap na ito ay nananatiling malabo na nagpapakita na ang mga transformer ay malayo sa handa na gumana sa mga financial dataset at nananatiling naaangkop ang mga ito sa textual na data. Ngunit walang dahilan para sumama ang loob. Bagama't nananatiling medyo mahirap ang pag-angkop ng mga transformer sa mga sitwasyong pampinansyal, ang ibang mga bagong bahagi ng deep learning space ay nagpapakita ng pangako kapag inilapat sa mga Quant model sa iba't ibang klase ng asset kabilang ang Crypto.

Mula sa maraming anggulo, ang Crypto ay tila ang perpektong klase ng asset para sa mga modelong Quant na nakabatay sa malalim na pag-aaral. Iyon ay dahil sa digital DNA at ang transparency ng mga Crypto asset at na ang pagtaas ng Crypto ay kasabay ng isang renaissance ng machine learning at ang paglitaw ng malalim na pag-aaral.

Pagkatapos ng mga dekada ng pakikibaka at ilang tinaguriang "artificial intelligence (AI) na taglamig," ang malalim na pag-aaral ay naging totoo at medyo mainstream sa iba't ibang bahagi ng industriya ng software. Ang quantitative Finance ay ONE sa pinakamabilis na gumagamit ng mga bagong teknolohiya at pananaliksik sa malalim na pag-aaral. Napakakaraniwan para sa ilan sa mga Quant pondo sa merkado na mag-eksperimento sa parehong mga uri ng mga ideya na nagmumula sa mga high tech na AI research lab gaya ng Facebook, Google o Microsoft.

Tingnan din ang: Jesus Rodriguez - 10 Dahilan ng Quant Strategies para sa Crypto Fail

Ang ilan sa mga pinakakapana-panabik na pag-unlad sa modernong Quant financing ay hindi nagmumula sa mga marangyang diskarte tulad ng mga transformer, ngunit mula sa mga kapana-panabik na machine learning breakthroughs na mas binuo para sa Quant scenario. Marami sa mga pamamaraang iyon ay ganap na naaangkop sa mga diskarte sa Quant ng crypto-asset at nagsisimula nang pumasok sa mga modelo ng Crypto Quant .

Sa ibaba, naglista ako ng limang umuusbong na bahagi ng malalim na pag-aaral na partikular na mahalaga sa mga sitwasyon ng Crypto Quant . Sinubukan kong KEEP simple ang mga paliwanag at iniakma sa mga sitwasyong Crypto .

1) I-graph ang mga neural network

Ang mga dataset ng Blockchain ay isang natatanging mapagkukunan ng alpha para sa mga Quant model sa Crypto space. Mula sa isang structural perspective, ang blockchain data ay intrinsically hierarchical at kinakatawan ng isang graph na may mga node na kumakatawan sa mga address na konektado sa pamamagitan ng mga gilid na kumakatawan sa mga transaksyon. Isipin ang isang senaryo kung saan sinusubukan ng isang Quant model na hulaan ang volatility Bitcoin sa isang ibinigay na palitan batay sa mga katangian ng mga address na naglilipat ng mga pondo sa palitan. Ang ganitong uri ng modelo ay kailangang gumana nang mahusay sa hierarchical na data. Ngunit karamihan sa mga diskarte sa machine learning ay idinisenyo upang gumana sa mga tabular na dataset, hindi sa mga graph.

Ang mga graph neural network (GNNs) ay isang bagong malalim na disiplina sa pag-aaral na nakatuon sa mga modelong mahusay na gumagana sa mga istruktura ng data ng graph. Ang mga GNN ay medyo bagong lugar ng malalim na pag-aaral na naimbento lamang noong 2005. Gayunpaman, ang mga GNN ay nakakita ng maraming pag-aampon mula sa mga kumpanya tulad ng Uber, Google, Microsoft, DeepMind at iba pa.

Sa aming sample na senaryo, maaaring gumamit ang isang GNN ng graph bilang input na kumakatawan sa mga daloy sa loob at labas ng mga palitan at magpahiwatig ng may-katuturang kaalaman na nauugnay sa epekto nito sa presyo. Sa konteksto ng mga Crypto asset, ang mga GNN ay may potensyal na paganahin ang mga bagong pamamaraan ng Quant batay sa mga dataset ng blockchain.

2) Mga generative na modelo

Ang ONE sa mga limitasyon ng machine learning Quant model ay ang kakulangan ng malalaking makasaysayang dataset. Ipagpalagay na sinusubukan mong bumuo ng isang predictive na modelo para sa presyo ng Chainlink (LINK) batay sa makasaysayang gawi ng kalakalan nito. Bagama't mukhang kaakit-akit ang konsepto, maaari itong mapatunayang mahirap dahil ang LINK ay may mahigit isang taon ng makasaysayang data ng kalakalan sa mga palitan tulad ng Coinbase. Ang maliit na dataset na iyon ay magiging hindi sapat para sa karamihan ng malalalim na neural network upang gawing pangkalahatan ang anumang nauugnay na kaalaman.

Ang mga generative na modelo ay isang uri ng paraan ng malalim na pag-aaral na dalubhasa sa pagbuo ng synthetic na data na tumutugma sa pamamahagi ng isang dataset ng pagsasanay. Sa aming senaryo, isipin na nagsasanay kami ng generative model sa pamamahagi ng LINK orderbook sa Coinbase upang makabuo ng mga bagong order na tumutugma sa pamamahagi ng totoong orderbook.

Pinagsasama-sama ang totoong dataset at ang ONE, maaari tayong bumuo ng sapat na malaking dataset para sanayin ang isang sopistikadong modelo ng malalim na pag-aaral. Ang konsepto ng generative model ay hindi partikular na bago ngunit nakakuha ng maraming traksyon sa nakalipas na taon sa paglitaw ng mga sikat na diskarte tulad ng generative adversarial neural network (GANs), na naging ONE sa mga pinakasikat na pamamaraan sa mga lugar tulad ng pag-uuri ng imahe at nagamit nang may kaugnay na tagumpay sa mga time series na financial dataset.

3) Semi-supervised na pag-aaral

Ang mga naka-label na dataset ay kakaunti sa Crypto space at lubos nitong nililimitahan ang uri ng mga modelo ng Quant ng machine learning (ML) na maaaring gawin sa mga totoong sitwasyon sa mundo. Isipin na sinusubukan naming bumuo ng isang modelo ng ML na gumagawa ng mga hula sa presyo batay sa aktibidad ng mga over-the-counter (OTC) desk. Upang sanayin ang modelong iyon, kakailanganin namin ang isang malaking naka-label na dataset na may mga address na kabilang sa mga OTC desk na siyang uri ng dataset na mayroon lamang ilang entity sa Crypto market.

Ang semi-supervised na pag-aaral ay isang malalim na diskarte sa pag-aaral na tumutuon sa paggawa ng mga modelo na maaaring Learn gamit ang maliliit na naka-label na dataset at malaking dami ng walang label na data. Ang semi-supervised na pag-aaral ay kahalintulad sa isang guro na naglalahad ng ilang mga konsepto sa isang grupo ng mga mag-aaral at iniiwan ang iba pang mga konsepto sa takdang-aralin at pag-aaral sa sarili.

Sa aming halimbawang senaryo, isipin na nagsasanay kami ng isang modelo na may maliit na hanay ng mga trade na may label mula sa mga OTC desk at isang malaking hanay ng mga walang label. Learn ng aming semi-supervised na modelo ng pag-aaral ang mga pangunahing feature mula sa may label na dataset gaya ng laki o dalas ng kalakalan at gagamitin ang walang label na dataset para palawakin ang pagsasanay.

4) Pag-aaral ng representasyon

Ang pagkuha at pagpili ng feature ay isang mahalagang bahagi ng anumang modelo ng Quant machine learning at partikular na nauugnay sa mga problemang hindi masyadong nauunawaan gaya ng mga hula sa asset ng Crypto . Isipin na sinusubukan naming bumuo ng isang predictive na modelo para sa presyo ng Bitcoin batay sa mga talaan ng order book.

Ang ONE sa pinakamahalagang aspeto ng aming pagsisikap ay ang pagtukoy kung aling mga katangian o feature ang maaaring kumilos bilang mga predictor. Ito ba ay ang kalagitnaan ng presyo, ang dami o isang daang iba pang mga kadahilanan? Ang tradisyunal na diskarte ay umasa sa mga eksperto sa paksa sa paggawa ng mga feature na ito ngunit maaaring mahirap itong sukatin at mapanatili sa paglipas ng panahon.

Ang pag-aaral ng representasyon ay isang lugar ng dep learning na nakatuon sa pag-automate ng pag-aaral ng mga solidong representasyon o feature upang makabuo ng mas epektibong mga modelo. Sa halip na umasa sa pagmomodelo ng feature ng Human , sinusubukan ng pagkatuto ng representasyon na i-extrapolate ang mga feature nang direkta mula sa mga walang label na dataset. Sa aming halimbawa, maaaring suriin ng paraan ng pag-aaral ng representasyon ang order book at tukuyin ang daan-daang libong potensyal na feature na maaaring kumilos bilang mga predictor para sa mga presyo ng Bitcoin . Imposibleng makamit ang antas ng scaling at automation na iyon sa manual feature engineering.

5) Neural architecture paghahanap

Ang proseso ng paglikha ng Quant machine learning model ay nananatiling lubos na subjective sa maraming aspeto. Kunin natin ang senaryo ng isang modelo na sumusubok na hulaan ang presyo ng Ethereum batay sa aktibidad sa isang hanay ng mga protocol ng DeFi. Dahil sa likas na katangian ng problema, ang mga data scientist ay magkakaroon ng ilang partikular na kagustuhan tungkol sa uri ng modelo at arkitektura na gagamitin.

Sa aming senaryo, karamihan sa mga ideyang iyon ay ibabatay sa kaalaman sa domain at mga pansariling opinyon tungkol sa paraan na maaaring makaapekto ang aktibidad sa mga protocol ng DeFi sa presyo ng Ethereum. Dahil ang machine learning ay batay sa pagbuo ng kaalaman at ang kaalaman ay hindi isang discrete unit, halos imposibleng pagdebatehan ang mga merito ng ONE paraan kumpara sa isa pa para sa isang partikular na problema.

Ang paghahanap ng neural architecture (NAS) ay ONE bahagi ng malalim na pag-aaral na sumusubok na i-automate ang mga modelo ng paglikha gamit ang machine learning. Uri ng paggamit ng machine learning para gumawa ng machine learning. Dahil sa target na problema at dataset, susuriin ng mga pamamaraan ng NAS ang daan-daang posibleng mga arkitektura ng neural network at ilalabas ang mga may pinakamagagandang resulta.

Sa aming halimbawang senaryo, ang isang paraan ng NAS ay maaaring magproseso ng isang dataset na nagsasama ng mga pangangalakal sa mga desentralisadong palitan at makagawa ng ilang mga modelo na posibleng mahulaan ang presyo ng Ethereum batay sa mga talang iyon.

Marami pang darating

Ang mga pamamaraan na inilarawan sa itaas ay kumakatawan sa ilang umuusbong at mas maunlad na mga bahagi ng malalim na pag-aaral na malamang na magkaroon ng epekto sa mga modelo ng Crypto Quant sa maikling panahon. At ang mga iyon ay hindi lamang ang tanging mga lugar ng malalim na pag-aaral ng Crypto Quant na dapat bigyang pansin.

Ang iba pang mga malalim na disiplina sa pag-aaral tulad ng reinforcement learning, self-supervised learning at maging ang mga transformer ay mabilis na pumapasok sa Quant space. Ang pananaliksik at pag-eeksperimento tungkol sa mga diskarte sa malalim na pag-aaral na inilapat sa mga Quant model ay nangyayari sa lahat ng dako at ang Crypto ay isang mahusay na benepisyaryo ng alon ng pagbabagong iyon.