{"id":9802,"date":"2024-09-09T16:22:50","date_gmt":"2024-09-09T12:52:50","guid":{"rendered":"https:\/\/walvira.com\/blog\/?p=9802"},"modified":"2024-09-10T10:33:16","modified_gmt":"2024-09-10T07:03:16","slug":"%d8%a7%d9%84%da%af%d9%88%d8%b1%db%8c%d8%aa%d9%85-bert-%d8%aa%d8%ad%d9%88%d9%84%db%8c-%d8%af%d8%b1-%d9%be%d8%b1%d8%af%d8%a7%d8%b2%d8%b4-%d8%b2%d8%a8%d8%a7%d9%86-%d8%b7%d8%a8%db%8c%d8%b9%db%8c-nlp","status":"publish","type":"post","link":"https:\/\/walvira.com\/blog\/%d8%a7%d9%84%da%af%d9%88%d8%b1%db%8c%d8%aa%d9%85-bert-%d8%aa%d8%ad%d9%88%d9%84%db%8c-%d8%af%d8%b1-%d9%be%d8%b1%d8%af%d8%a7%d8%b2%d8%b4-%d8%b2%d8%a8%d8%a7%d9%86-%d8%b7%d8%a8%db%8c%d8%b9%db%8c-nlp\/","title":{"rendered":"\u0627\u0644\u06af\u0648\u0631\u06cc\u062a\u0645 BERT \u062a\u062d\u0648\u0644\u06cc \u062f\u0631 \u067e\u0631\u062f\u0627\u0632\u0634 \u0632\u0628\u0627\u0646 \u0637\u0628\u06cc\u0639\u06cc (NLP)"},"content":{"rendered":"

 <\/p>\n

\u0627\u0644\u06af\u0648\u0631\u06cc\u062a\u0645 BERT \u06cc\u06a9 \u0627\u0644\u06af\u0648\u0631\u06cc\u062a\u0645 \u0628\u0631 \u067e\u0627\u06cc\u0647 \u0647\u0648\u0634 \u0645\u0635\u0646\u0648\u0639\u06cc \u0627\u0633\u062a \u06a9\u0647 \u0628\u0647 \u0631\u0628\u0627\u062a\u200c\u0647\u0627\u06cc \u06af\u0648\u06af\u0644 \u0627\u06cc\u0646 \u0627\u0645\u06a9\u0627\u0646 \u0631\u0627 \u0645\u06cc\u200c\u062f\u0647\u062f \u062a\u0627 \u0633\u0627\u062e\u062a\u0627\u0631 \u0645\u0639\u0646\u0627\u06cc\u06cc \u06a9\u0644\u0645\u0627\u062a \u0645\u0648\u062c\u0648\u062f \u062f\u0631 \u06cc\u06a9 \u0639\u0628\u0627\u0631\u062a \u062c\u0633\u062a\u062c\u0648 \u0634\u062f\u0647 (\u06a9\u0648\u0626\u0631\u06cc) \u0631\u0627 \u0628\u0647 \u0634\u06a9\u0644 \u062f\u0642\u06cc\u0642\u200c\u062a\u0631\u06cc \u062f\u0631\u06a9 \u06a9\u0646\u062f. \u062f\u0631\u0648\u0627\u0642\u0639 \u0645\u06cc\u200c\u062a\u0648\u0627\u0646 \u06af\u0641\u062a \u06a9\u0647 \u0627\u06cc\u0646 \u0627\u0644\u06af\u0648\u0631\u06cc\u062a\u0645 \u06cc\u06a9 \u06cc\u0627\u0631 \u06a9\u0645\u06a9\u06cc \u0628\u0631\u0627\u06cc \u06af\u0648\u06af\u0644 \u0627\u0633\u062a. \u0627\u0644\u06af\u0648\u0631\u06cc\u062a\u0645 BERT \u06a9\u0647 \u0645\u062e\u0641\u0641 Bidirectional Encoder Representations from Transformers \u0627\u0633\u062a\u060c \u06cc\u06a9\u06cc \u0627\u0632 \u0646\u0648\u0622\u0648\u0631\u06cc\u200c\u0647\u0627\u06cc \u06a9\u0644\u06cc\u062f\u06cc \u062f\u0631 \u0632\u0645\u06cc\u0646\u0647 \u067e\u0631\u062f\u0627\u0632\u0634 \u0632\u0628\u0627\u0646 \u0637\u0628\u06cc\u0639\u06cc (NLP) \u0645\u062d\u0633\u0648\u0628 \u0645\u06cc\u200c\u0634\u0648\u062f. \u0627\u06cc\u0646 \u0645\u062f\u0644 \u062f\u0631 \u0633\u0627\u0644 2018 \u062a\u0648\u0633\u0637 \u0645\u062d\u0642\u0642\u0627\u0646 \u0634\u0631\u06a9\u062a \u06af\u0648\u06af\u0644 \u0645\u0639\u0631\u0641\u06cc \u0634\u062f \u0648 \u0627\u0646\u0642\u0644\u0627\u0628\u06cc \u062f\u0631 \u0631\u0648\u0634 \u062f\u0631\u06a9 \u0648 \u062a\u0641\u0633\u06cc\u0631 \u0632\u0628\u0627\u0646 \u0637\u0628\u06cc\u0639\u06cc \u0628\u0647 \u0648\u062c\u0648\u062f \u0622\u0648\u0631\u062f . BERT \u0628\u0647 \u062f\u0644\u06cc\u0644 \u062a\u0648\u0627\u0646\u0627\u06cc\u06cc\u200c\u0647\u0627\u06cc \u0645\u0646\u062d\u0635\u0631 \u0628\u0647 \u0641\u0631\u062f \u062e\u0648\u062f \u062f\u0631 \u062f\u0631\u06a9 \u0645\u0639\u0646\u0627\u06cc \u0645\u062a\u0646\u06cc \u0648 \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0627\u0632 \u0645\u0641\u0647\u0648\u0645 \u062f\u0648\u0633\u0648\u06cc\u06af\u06cc \u062f\u0631 \u06cc\u0627\u062f\u06af\u06cc\u0631\u06cc\u060c \u0628\u0647 \u0633\u0631\u0639\u062a \u0628\u0647 \u06cc\u06a9\u06cc \u0627\u0632 \u067e\u0631\u0627\u0633\u062a\u0641\u0627\u062f\u0647\u200c\u062a\u0631\u06cc\u0646 \u0648 \u067e\u0631\u06a9\u0627\u0631\u0628\u0631\u062f\u062a\u0631\u06cc\u0646 \u0645\u062f\u0644\u200c\u0647\u0627\u06cc NLP \u062a\u0628\u062f\u06cc\u0644 \u0634\u062f. <\/span>\u0645\u0642\u0627\u0644\u0647 \u0627\u0645\u0631\u0648\u0632 \u0631\u0627 \u0642\u0631\u0627\u0631 \u0627\u0633\u062a \u0628\u0647 \u0645\u0648\u0636\u0648\u0639 “\u0627\u0644\u06af\u0648\u0631\u06cc\u062a\u0645 BERT \u062a\u062d\u0648\u0644\u06cc \u062f\u0631 \u067e\u0631\u062f\u0627\u0632\u0634 \u0632\u0628\u0627\u0646 \u0637\u0628\u06cc\u0639\u06cc (NLP)” \u0627\u062e\u062a\u0635\u0627\u0635 \u062f\u0647\u06cc\u0645.<\/span><\/p>\n

\u0628\u0627 \u0648\u0628\u0644\u0627\u06af \u0648\u0627\u0644 \u0648\u06cc\u0631\u0627<\/a><\/span> \u0647\u0645\u0631\u0627\u0647 \u0634\u0648\u06cc\u062f<\/strong><\/p>\n

\n

\u0645\u0642\u062f\u0645\u0647\u200c\u0627\u06cc \u0628\u0631 \u067e\u0631\u062f\u0627\u0632\u0634 \u0632\u0628\u0627\u0646 \u0637\u0628\u06cc\u0639\u06cc (NLP)<\/span><\/strong><\/h2>\n

\u0642\u0628\u0644 \u0627\u0632 \u067e\u0631\u062f\u0627\u062e\u062a\u0646 \u0628\u0647 BERT\u060c \u0627\u0628\u062a\u062f\u0627 \u0628\u0647\u062a\u0631 \u0627\u0633\u062a \u0645\u0641\u0647\u0648\u0645 \u067e\u0631\u062f\u0627\u0632\u0634 \u0632\u0628\u0627\u0646 \u0637\u0628\u06cc\u0639\u06cc (NLP) \u0631\u0627 \u062f\u0631\u06a9 \u06a9\u0646\u06cc\u0645. NLP \u0634\u0627\u062e\u0647\u200c\u0627\u06cc \u0627\u0632 \u0639\u0644\u0648\u0645 \u06a9\u0627\u0645\u067e\u06cc\u0648\u062a\u0631 \u0648 \u0647\u0648\u0634 \u0645\u0635\u0646\u0648\u0639\u06cc \u0627\u0633\u062a \u06a9\u0647 \u0628\u0647 \u062a\u0639\u0627\u0645\u0644 \u0628\u06cc\u0646 \u06a9\u0627\u0645\u067e\u06cc\u0648\u062a\u0631 \u0648 \u0632\u0628\u0627\u0646 \u0627\u0646\u0633\u0627\u0646\u06cc \u0645\u06cc\u200c\u067e\u0631\u062f\u0627\u0632\u062f. \u0647\u062f\u0641 \u0627\u0635\u0644\u06cc \u0627\u06cc\u0646 \u062d\u0648\u0632\u0647\u060c \u062f\u0631\u06a9\u060c \u062a\u0641\u0633\u06cc\u0631 \u0648 \u062a\u0648\u0644\u06cc\u062f \u0632\u0628\u0627\u0646 \u0627\u0646\u0633\u0627\u0646\u06cc \u0628\u0647 \u0635\u0648\u0631\u062a \u062e\u0648\u062f\u06a9\u0627\u0631 \u062a\u0648\u0633\u0637 \u0645\u0627\u0634\u06cc\u0646\u200c\u0647\u0627 \u0627\u0633\u062a.<\/span><\/p>\n

\u062f\u0631 \u067e\u0631\u062f\u0627\u0632\u0634 \u0632\u0628\u0627\u0646 \u0637\u0628\u06cc\u0639\u06cc\u060c \u0645\u062f\u0644\u200c\u0647\u0627\u06cc \u06cc\u0627\u062f\u06af\u06cc\u0631\u06cc \u0645\u0627\u0634\u06cc\u0646 \u0628\u0631\u0627\u06cc \u062a\u062d\u0644\u06cc\u0644 \u0648 \u0641\u0647\u0645 \u062f\u0627\u062f\u0647\u200c\u0647\u0627\u06cc \u0645\u062a\u0646\u06cc \u0622\u0645\u0648\u0632\u0634 \u062f\u0627\u062f\u0647 \u0645\u06cc\u200c\u0634\u0648\u0646\u062f. \u0627\u06cc\u0646 \u0645\u062f\u0644\u200c\u0647\u0627 \u0645\u06cc\u200c\u062a\u0648\u0627\u0646\u0646\u062f \u0648\u0638\u0627\u06cc\u0641 \u0645\u062e\u062a\u0644\u0641\u06cc \u0645\u0627\u0646\u0646\u062f \u062a\u0631\u062c\u0645\u0647 \u0645\u0627\u0634\u06cc\u0646\u06cc\u060c \u0637\u0628\u0642\u0647\u200c \u0628\u0646\u062f\u06cc \u0645\u062a\u0646\u060c \u0627\u0633\u062a\u062e\u0631\u0627\u062c \u0627\u0637\u0644\u0627\u0639\u0627\u062a\u060c \u0648 \u067e\u0627\u0633\u062e \u0628\u0647 \u067e\u0631\u0633\u0634\u200c\u0647\u0627 \u0631\u0627 \u0627\u0646\u062c\u0627\u0645 \u062f\u0647\u0646\u062f. \u0627\u0645\u0627 \u06cc\u06a9\u06cc \u0627\u0632 \u0686\u0627\u0644\u0634\u200c\u0647\u0627\u06cc \u0627\u0635\u0644\u06cc \u062f\u0631 NLP\u060c \u062f\u0631\u06a9 \u062f\u0642\u06cc\u0642 \u0627\u0632 \u0645\u0639\u0646\u0627\u06cc \u0645\u062a\u0646 \u0648 \u0631\u0627\u0628\u0637\u0647 \u0628\u06cc\u0646 \u06a9\u0644\u0645\u0627\u062a \u0648 \u062c\u0645\u0644\u0627\u062a \u0627\u0633\u062a.<\/span><\/p>\n

 <\/p>\n

\u0627\u0644\u06af\u0648\u0631\u06cc\u062a\u0645 BERT: \u062a\u0639\u0631\u06cc\u0641 \u0648 \u0627\u0635\u0648\u0644 \u0627\u0648\u0644\u06cc\u0647<\/span><\/strong><\/h2>\n

BERT \u06cc\u06a9 \u0645\u062f\u0644 \u06cc\u0627\u062f\u06af\u06cc\u0631\u06cc \u0639\u0645\u06cc\u0642 \u0627\u0633\u062a \u06a9\u0647 \u0628\u0631 \u067e\u0627\u06cc\u0647 \u0645\u0639\u0645\u0627\u0631\u06cc \u062a\u0631\u0627\u0646\u0633\u0641\u0648\u0631\u0645\u0631 (Transformer) \u0633\u0627\u062e\u062a\u0647 \u0634\u062f\u0647 \u0627\u0633\u062a. \u0622\u0646\u0686\u0647 BERT \u0631\u0627 \u0627\u0632 \u0645\u062f\u0644\u200c\u0647\u0627\u06cc \u0642\u0628\u0644\u06cc \u0645\u062a\u0645\u0627\u06cc\u0632 \u0645\u06cc\u200c\u06a9\u0646\u062f\u060c \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0627\u0632 \u0646\u0645\u0627\u06cc\u0634 \u062f\u0648\u0633\u0648\u06cc\u0647 (Bidirectional) \u062f\u0631 \u06cc\u0627\u062f\u06af\u06cc\u0631\u06cc \u0627\u0633\u062a. \u062f\u0631 \u0645\u062f\u0644\u200c\u0647\u0627\u06cc \u0633\u0646\u062a\u06cc NLP \u0645\u0627\u0646\u0646\u062f Word2Vec \u0648 GloVe\u060c \u0645\u062f\u0644 \u062a\u0646\u0647\u0627 \u0645\u06cc\u200c\u062a\u0648\u0627\u0646\u062f \u0627\u0632 \u0645\u062a\u0646 \u0642\u0628\u0644 \u06cc\u0627 \u0628\u0639\u062f \u0627\u0632 \u06cc\u06a9 \u06a9\u0644\u0645\u0647 \u0628\u0631\u0627\u06cc \u06cc\u0627\u062f\u06af\u06cc\u0631\u06cc \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u06a9\u0646\u062f. \u0627\u0645\u0627 BERT \u0627\u0632 \u0647\u0631 \u062f\u0648 \u062c\u0647\u062a \u0628\u0647 \u0637\u0648\u0631 \u0647\u0645\u0632\u0645\u0627\u0646 \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0645\u06cc\u200c\u06a9\u0646\u062f\u060c \u06cc\u0639\u0646\u06cc \u0647\u0645 \u0627\u0632 \u06a9\u0644\u0645\u0627\u062a \u0642\u0628\u0644 \u0648 \u0647\u0645 \u0627\u0632 \u06a9\u0644\u0645\u0627\u062a \u0628\u0639\u062f \u0628\u0631\u0627\u06cc \u067e\u06cc\u0634\u200c \u0628\u06cc\u0646\u06cc \u06a9\u0644\u0645\u0647 \u06cc\u0627 \u062f\u0631\u06a9 \u0645\u0639\u0646\u0627\u06cc \u06cc\u06a9 \u062c\u0645\u0644\u0647 \u0628\u0647\u0631\u0647 \u0645\u06cc\u200c\u0628\u0631\u062f.<\/span><\/p>\n

 <\/p>\n

\"\u0627\u0644\u06af\u0648\u0631\u06cc\u062a\u0645<\/a><\/p>\n

 <\/p>\n

\n

\u0645\u062b\u0627\u0644\u06cc \u0628\u0631\u0627\u06cc \u062f\u0631\u06a9 \u0628\u0647\u062a\u0631 \u0627\u0644\u06af\u0648\u0631\u06cc\u062a\u0645 BERT<\/span><\/strong><\/h2>\n

\u0628\u0631\u0627\u06cc \u062f\u0631\u06a9 \u0628\u0647\u062a\u0631 \u0627\u0644\u06af\u0648\u0631\u06cc\u062a\u0645 BERT\u060c \u06cc\u06a9 \u0645\u062b\u0627\u0644 \u062c\u0627\u0644\u0628 \u0645\u06cc\u200c\u062a\u0648\u0627\u0646\u062f \u06a9\u0645\u06a9\u200c \u06a9\u0646\u0646\u062f\u0647 \u0628\u0627\u0634\u062f. \u0641\u0631\u0636 \u06a9\u0646\u06cc\u062f \u0639\u0628\u0627\u0631\u062a \u0627\u0646\u06af\u0644\u06cc\u0633\u06cc \u00abHow to catch a cow fishing\u00bb \u0631\u0627 \u062f\u0631 \u06af\u0648\u06af\u0644 \u062c\u0633\u062a\u062c\u0648 \u0645\u06cc\u200c\u06a9\u0646\u06cc\u062f. \u062a\u0631\u062c\u0645\u0647 \u0627\u06cc\u0646 \u0639\u0628\u0627\u0631\u062a \u0628\u0647 \u0641\u0627\u0631\u0633\u06cc \u0628\u0647 \u0645\u0639\u0646\u0627\u06cc \u00ab\u0686\u06af\u0648\u0646\u0647 \u0645\u06cc\u200c\u062a\u0648\u0627\u0646 \u0645\u0627\u0647\u06cc \u062e\u0627\u0631\u062f\u0627\u0631 \u0635\u06cc\u062f \u06a9\u0631\u062f\u061f\u00bb \u0627\u0633\u062a. \u0646\u06a9\u062a\u0647 \u062c\u0627\u0644\u0628 \u0627\u06cc\u0646\u062c\u0627\u0633\u062a \u06a9\u0647 \u06a9\u0644\u0645\u0647 “cow” \u062f\u0631 \u0632\u0628\u0627\u0646 \u0627\u0646\u06af\u0644\u06cc\u0633\u06cc \u062f\u0648 \u0645\u0639\u0646\u0627\u06cc \u0645\u062a\u0641\u0627\u0648\u062a \u062f\u0627\u0631\u062f: \u06cc\u06a9\u06cc \u0628\u0647 \u0645\u0639\u0646\u0627\u06cc “\u06af\u0627\u0648” \u0648 \u062f\u06cc\u06af\u0631\u06cc \u062f\u0631 \u0627\u0635\u0637\u0644\u0627\u062d\u0627\u062a \u0645\u0627\u0647\u06cc\u06af\u06cc\u0631\u06cc \u0628\u0647 \u0646\u0648\u0639\u06cc \u0645\u0627\u0647\u06cc \u062e\u0627\u0631\u062f\u0627\u0631 \u062f\u0631\u06cc\u0627\u06cc\u06cc \u0627\u0634\u0627\u0631\u0647 \u062f\u0627\u0631\u062f.<\/span><\/p>\n

\u067e\u06cc\u0634 \u0627\u0632 \u0645\u0639\u0631\u0641\u06cc \u0627\u0644\u06af\u0648\u0631\u06cc\u062a\u0645 BERT\u060c \u0627\u06af\u0631 \u0627\u06cc\u0646 \u0639\u0628\u0627\u0631\u062a \u0631\u0627 \u062c\u0633\u062a\u062c\u0648 \u0645\u06cc\u200c\u06a9\u0631\u062f\u06cc\u062f\u060c \u0646\u062a\u0627\u06cc\u062c\u06cc \u06a9\u0647 \u06af\u0648\u06af\u0644 \u0628\u0647 \u0634\u0645\u0627 \u0646\u0645\u0627\u06cc\u0634 \u0645\u06cc\u200c\u062f\u0627\u062f\u060c \u0628\u06cc\u0634\u062a\u0631 \u0645\u0631\u0628\u0648\u0637 \u0628\u0647 \u06af\u0627\u0648\u0647\u0627 \u0628\u0648\u062f. \u062d\u062a\u06cc \u0628\u0627 \u0648\u062c\u0648\u062f \u0627\u06cc\u0646\u06a9\u0647 \u06a9\u0644\u0645\u0647 “fishing” (\u0645\u0627\u0647\u06cc\u06af\u06cc\u0631\u06cc) \u062f\u0631 \u06a9\u0648\u0626\u0631\u06cc \u0634\u0645\u0627 \u0648\u062c\u0648\u062f \u062f\u0627\u0634\u062a\u060c \u06af\u0648\u06af\u0644 \u0645\u0639\u0646\u0627\u06cc \u0645\u0631\u062a\u0628\u0637 \u0628\u0627 \u0645\u0627\u0647\u06cc\u06af\u06cc\u0631\u06cc \u0631\u0627 \u0646\u0627\u062f\u06cc\u062f\u0647 \u0645\u06cc\u200c\u06af\u0631\u0641\u062a \u0648 \u0646\u062a\u0627\u06cc\u062c\u06cc \u0645\u0631\u062a\u0628\u0637 \u0628\u0627 \u06af\u0627\u0648\u0647\u0627 \u0627\u0631\u0627\u0626\u0647 \u0645\u06cc\u200c\u06a9\u0631\u062f. \u0627\u0645\u0627 \u067e\u0633 \u0627\u0632 \u0628\u0647\u200c\u0631\u0648\u0632\u0631\u0633\u0627\u0646\u06cc \u0628\u0627 BERT\u060c \u0647\u0645\u0627\u0646 \u062c\u0633\u062a\u062c\u0648 \u0646\u062a\u0627\u06cc\u062c\u06cc \u0631\u0627 \u0646\u0634\u0627\u0646 \u0645\u06cc\u200c\u062f\u0647\u062f \u06a9\u0647 \u0645\u0631\u062a\u0628\u0637 \u0628\u0627 \u0645\u0627\u0647\u06cc \u062e\u0627\u0631\u062f\u0627\u0631 \u062f\u0631\u06cc\u0627\u06cc\u06cc \u0648 \u0645\u0627\u0647\u06cc\u06af\u06cc\u0631\u06cc \u0627\u0633\u062a. \u0627\u0644\u06af\u0648\u0631\u06cc\u062a\u0645 BERT \u062a\u0648\u0627\u0646\u0633\u062a\u0647 \u0628\u0641\u0647\u0645\u062f \u06a9\u0647 \u0628\u0647 \u062f\u0644\u06cc\u0644 \u0648\u062c\u0648\u062f \u06a9\u0644\u0645\u0647 “fishing” \u062f\u0631 \u0639\u0628\u0627\u0631\u062a\u060c \u0646\u062a\u0627\u06cc\u062c \u0628\u0627\u06cc\u062f \u0628\u0647 \u0645\u0627\u0647\u06cc\u06af\u06cc\u0631\u06cc \u0645\u0631\u0628\u0648\u0637 \u0628\u0627\u0634\u0646\u062f \u0648 \u0646\u0647 \u0628\u0647 \u06af\u0627\u0648\u0647\u0627.<\/span><\/p>\n

 <\/p>\n

\u0645\u0642\u0627\u0644\u0647 \u067e\u06cc\u0634\u0646\u0647\u0627\u062f\u06cc: \u0628\u0647\u062a\u0631\u06cc\u0646 \u0627\u0628\u0632\u0627\u0631\u0647\u0627\u06cc \u0647\u0648\u0634 \u0645\u0635\u0646\u0648\u0639\u06cc \u0628\u0631\u0627\u06cc \u0637\u0631\u0627\u062d\u06cc \u0633\u0627\u06cc\u062a\u061b \u0645\u0639\u0631\u0641\u06cc 5 \u0627\u0628\u0632\u0627\u0631 \u0628\u0631\u062a\u0631<\/a><\/span><\/strong><\/p>\n

 <\/p>\n

\n

\u062a\u0627\u062b\u06cc\u0631 \u0627\u0644\u06af\u0648\u0631\u06cc\u062a\u0645 BERT \u0628\u0631 \u062c\u0633\u062a \u0648 \u062c\u0648\u0647\u0627\u06cc \u0645\u062e\u062a\u0644\u0641<\/span><\/strong><\/h2>\n

\u0628\u0647 \u06cc\u0627\u062f \u062f\u0627\u0631\u06cc\u062f \u06a9\u0647 \u0628\u0647\u200c \u0631\u0648\u0632\u0631\u0633\u0627\u0646\u06cc \u062c\u062f\u06cc\u062f \u0627\u0644\u06af\u0648\u0631\u06cc\u062a\u0645 \u06af\u0648\u06af\u0644 \u062f\u0631 \u0645\u0627\u0631\u0633 2019 \u0628\u0647 \u062f\u0644\u06cc\u0644 \u062a\u063a\u06cc\u06cc\u0631\u0627\u062a \u0642\u0627\u0628\u0644\u200c \u062a\u0648\u062c\u0647\u06cc \u06a9\u0647 \u062f\u0631 \u0646\u062a\u0627\u06cc\u062c \u062c\u0633\u062a\u062c\u0648 \u0627\u06cc\u062c\u0627\u062f \u06a9\u0631\u062f\u060c \u062a\u0648\u062c\u0647 \u0632\u06cc\u0627\u062f\u06cc \u0631\u0627 \u0628\u0647 \u062e\u0648\u062f \u062c\u0644\u0628 \u06a9\u0631\u062f. \u0627\u0645\u0627 \u0645\u0645\u06a9\u0646 \u0627\u0633\u062a \u0628\u067e\u0631\u0633\u06cc\u062f \u0686\u0631\u0627 \u0647\u0645\u0686\u0646\u0627\u0646 \u0627\u0637\u0644\u0627\u0639\u0627\u062a \u0632\u06cc\u0627\u062f\u06cc \u062f\u0631\u0628\u0627\u0631\u0647 \u062a\u063a\u06cc\u06cc\u0631 \u0631\u062a\u0628\u0647 \u0633\u0627\u06cc\u062a\u200c\u0647\u0627 \u0628\u0647 \u0648\u0627\u0633\u0637\u0647 \u0627\u0644\u06af\u0648\u0631\u06cc\u062a\u0645 BERT \u062f\u0631 \u0634\u0628\u06a9\u0647\u200c\u0647\u0627\u06cc \u0627\u062c\u062a\u0645\u0627\u0639\u06cc \u062f\u06cc\u062f\u0647 \u0646\u0645\u06cc\u200c\u0634\u0648\u062f. \u0627\u06cc\u0646 \u0645\u0648\u0636\u0648\u0639\u06cc \u0627\u0633\u062a \u06a9\u0647 \u062f\u0631 \u0644\u06cc\u0633\u062a “\u0627\u0644\u06af\u0648\u0631\u06cc\u062a\u0645 BERT \u062a\u062d\u0648\u0644\u06cc \u062f\u0631 \u067e\u0631\u062f\u0627\u0632\u0634 \u0632\u0628\u0627\u0646 \u0637\u0628\u06cc\u0639\u06cc (NLP)” \u0642\u0631\u0627\u0631 \u062f\u0627\u062f\u0647\u200c\u0627\u06cc\u0645.<\/span><\/p>\n

\u062f\u0644\u06cc\u0644 \u0627\u06cc\u0646 \u0645\u0648\u0636\u0648\u0639 \u0627\u06cc\u0646 \u0627\u0633\u062a \u06a9\u0647 \u0627\u0644\u06af\u0648\u0631\u06cc\u062a\u0645 BERT \u0628\u06cc\u0634\u062a\u0631 \u0628\u0631 \u0631\u0648\u06cc \u062c\u0633\u062a\u062c\u0648\u0647\u0627\u06cc \u0637\u0648\u0644\u0627\u0646\u06cc \u0648 \u0645\u0628\u062a\u0646\u06cc \u0628\u0631 \u062f\u06cc\u0627\u0644\u0648\u06af \u062a\u0645\u0631\u06a9\u0632 \u062f\u0627\u0631\u062f. \u0627\u0632 \u0622\u0646\u062c\u0627 \u06a9\u0647 \u06a9\u0644\u0645\u0627\u062a \u06a9\u0644\u06cc\u062f\u06cc \u0637\u0648\u0644\u0627\u0646\u06cc \u0645\u0639\u0645\u0648\u0644\u0627\u064b \u062f\u0631 \u0627\u0648\u0644\u0648\u06cc\u062a \u0627\u0633\u062a\u0631\u0627\u062a\u0698\u06cc\u200c\u0647\u0627\u06cc \u0633\u0626\u0648 \u0642\u0631\u0627\u0631 \u0646\u0645\u06cc\u200c\u06af\u06cc\u0631\u0646\u062f\u060c \u062a\u063a\u06cc\u06cc\u0631\u0627\u062a \u0646\u0627\u0634\u06cc \u0627\u0632 BERT \u0647\u0646\u0648\u0632 \u0628\u0631\u0627\u06cc \u0628\u0633\u06cc\u0627\u0631\u06cc \u0627\u0632 \u0633\u0627\u06cc\u062a\u200c\u0647\u0627 \u0628\u0647\u200c\u0637\u0648\u0631 \u0642\u0627\u0628\u0644 \u062a\u0648\u062c\u0647\u06cc \u0645\u0634\u0647\u0648\u062f \u0646\u06cc\u0633\u062a.<\/span><\/p>\n

\u0647\u0645\u0686\u0646\u06cc\u0646\u060c \u06af\u0648\u06af\u0644 \u0627\u0639\u0644\u0627\u0645 \u06a9\u0631\u062f\u0647 \u06a9\u0647 \u0627\u06cc\u0646 \u0628\u0647\u200c \u0631\u0648\u0632\u0631\u0633\u0627\u0646\u06cc \u062a\u0646\u0647\u0627 10 \u062f\u0631\u0635\u062f \u0627\u0632 \u0646\u062a\u0627\u06cc\u062c \u062c\u0633\u062a\u062c\u0648 \u0631\u0627 \u062a\u063a\u06cc\u06cc\u0631 \u0645\u06cc\u200c\u062f\u0647\u062f. \u0628\u0647 \u0639\u0628\u0627\u0631\u062a \u062f\u06cc\u06af\u0631\u060c \u0627\u0632 \u0647\u0631 10 \u0646\u062a\u06cc\u062c\u0647\u060c \u06cc\u06a9\u06cc \u0627\u0632 \u0622\u0646\u200c\u0647\u0627 \u062a\u062d\u062a \u062a\u0623\u062b\u06cc\u0631 \u0645\u062f\u0644 \u0632\u0628\u0627\u0646\u06cc \u062c\u062f\u06cc\u062f BERT \u0642\u0631\u0627\u0631 \u06af\u0631\u0641\u062a\u0647 \u0627\u0633\u062a. \u0628\u0646\u0627\u0628\u0631\u0627\u06cc\u0646\u060c \u062a\u0639\u0645\u06cc\u0645 \u0627\u06cc\u0646 \u062a\u063a\u06cc\u06cc\u0631\u0627\u062a \u0628\u0647 \u0647\u0645\u0647 \u06a9\u0648\u0626\u0631\u06cc\u200c\u0647\u0627 \u0646\u0645\u06cc\u200c\u062a\u0648\u0627\u0646\u062f \u06a9\u0627\u0645\u0644\u0627\u064b \u0635\u062d\u06cc\u062d \u0628\u0627\u0634\u062f.<\/span><\/p>\n

 <\/p>\n

\u0645\u0639\u0645\u0627\u0631\u06cc \u062a\u0631\u0627\u0646\u0633\u0641\u0648\u0631\u0645\u0631: \u067e\u0627\u06cc\u0647\u200c \u06af\u0630\u0627\u0631 BERT<\/span><\/strong><\/h2>\n

\u0627\u06cc\u0646 \u0645\u0648\u0636\u0648\u0639 \u06cc\u06a9\u06cc \u0627\u0632 \u0645\u0648\u0627\u0631\u062f \u0645\u0647\u0645 \u062f\u0631 “\u0627\u0644\u06af\u0648\u0631\u06cc\u062a\u0645 BERT \u062a\u062d\u0648\u0644\u06cc \u062f\u0631 \u067e\u0631\u062f\u0627\u0632\u0634 \u0632\u0628\u0627\u0646 \u0637\u0628\u06cc\u0639\u06cc (NLP)” \u0645\u06cc\u200c\u0628\u0627\u0634\u062f. \u0645\u0639\u0645\u0627\u0631\u06cc \u062a\u0631\u0627\u0646\u0633\u0641\u0648\u0631\u0645\u0631 \u06a9\u0647 \u062f\u0631 \u0633\u0627\u0644 2017 \u0645\u0639\u0631\u0641\u06cc \u0634\u062f\u060c \u06cc\u06a9\u06cc \u0627\u0632 \u0646\u0648\u0622\u0648\u0631\u06cc\u200c\u0647\u0627\u06cc \u06a9\u0644\u06cc\u062f\u06cc \u062f\u0631 \u06cc\u0627\u062f\u06af\u06cc\u0631\u06cc \u0639\u0645\u06cc\u0642 \u0627\u0633\u062a. \u0628\u0631\u062e\u0644\u0627\u0641 \u0645\u062f\u0644\u200c\u0647\u0627\u06cc \u0633\u0646\u062a\u06cc \u0634\u0628\u06a9\u0647\u200c\u0647\u0627\u06cc \u0639\u0635\u0628\u06cc \u0628\u0627\u0632\u06af\u0634\u062a\u06cc (RNN) \u0648 LSTM\u060c \u062a\u0631\u0627\u0646\u0633\u0641\u0648\u0631\u0645\u0631 \u0646\u06cc\u0627\u0632\u06cc \u0628\u0647 \u067e\u0631\u062f\u0627\u0632\u0634 \u062a\u0631\u062a\u06cc\u0628\u06cc \u062f\u0627\u062f\u0647\u200c\u0647\u0627 \u0646\u062f\u0627\u0631\u062f. \u0627\u06cc\u0646 \u0648\u06cc\u0698\u06af\u06cc \u0628\u0627\u0639\u062b \u0645\u06cc\u200c\u0634\u0648\u062f \u06a9\u0647 \u0645\u062f\u0644 \u062a\u0631\u0627\u0646\u0633\u0641\u0648\u0631\u0645\u0631 \u0628\u0633\u06cc\u0627\u0631 \u0633\u0631\u06cc\u0639\u200c\u062a\u0631 \u0648 \u06a9\u0627\u0631\u0622\u0645\u062f\u062a\u0631 \u0639\u0645\u0644 \u06a9\u0646\u062f.<\/span><\/p>\n

\u062a\u0631\u0627\u0646\u0633\u0641\u0648\u0631\u0645\u0631 \u0627\u0632 \u062f\u0648 \u0628\u062e\u0634 \u0627\u0635\u0644\u06cc \u062a\u0634\u06a9\u06cc\u0644 \u0634\u062f\u0647 \u0627\u0633\u062a: \u0627\u0646\u06a9\u0648\u062f\u0631 (Encoder) \u0648 \u062f\u06cc\u06a9\u0648\u062f\u0631 (Decoder). \u062f\u0631 BERT \u062a\u0646\u0647\u0627 \u0627\u0632 \u0628\u062e\u0634 \u0627\u0646\u06a9\u0648\u062f\u0631 \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0645\u06cc\u200c\u0634\u0648\u062f. \u0627\u0646\u06a9\u0648\u062f\u0631 \u0648\u0638\u06cc\u0641\u0647 \u062f\u0627\u0631\u062f \u06a9\u0647 \u0648\u0631\u0648\u062f\u06cc\u200c\u0647\u0627\u06cc \u0645\u062a\u0646\u06cc \u0631\u0627 \u0628\u0647 \u0628\u0631\u062f\u0627\u0631\u0647\u0627\u06cc \u0648\u06cc\u0698\u06af\u06cc \u062a\u0628\u062f\u06cc\u0644 \u06a9\u0646\u062f \u06a9\u0647 \u062d\u0627\u0648\u06cc \u0627\u0637\u0644\u0627\u0639\u0627\u062a \u0645\u0639\u0646\u0627\u06cc\u06cc \u0627\u0632 \u06a9\u0644\u0645\u0627\u062a \u0648 \u0631\u0648\u0627\u0628\u0637 \u0628\u06cc\u0646 \u0622\u0646\u0647\u0627 \u0647\u0633\u062a\u0646\u062f.<\/span><\/p>\n

 <\/p>\n

\"\u0627\u0644\u06af\u0648\u0631\u06cc\u062a\u0645<\/a><\/p>\n

 <\/p>\n

\u062f\u0648\u0633\u0648\u06cc\u06af\u06cc (Bidirectional) \u062f\u0631 BERT<\/span><\/strong><\/h2>\n

\u0648\u06cc\u0698\u06af\u06cc \u062f\u0648\u0633\u0648\u06cc\u06af\u06cc BERT \u06cc\u06a9\u06cc \u0627\u0632 \u062f\u0644\u0627\u06cc\u0644 \u0627\u0635\u0644\u06cc \u0645\u0648\u0641\u0642\u06cc\u062a \u0622\u0646 \u0627\u0633\u062a. \u062f\u0631 \u0628\u0633\u06cc\u0627\u0631\u06cc \u0627\u0632 \u0645\u062f\u0644\u200c\u0647\u0627\u06cc \u0642\u0628\u0644\u06cc\u060c \u067e\u0631\u062f\u0627\u0632\u0634 \u0632\u0628\u0627\u0646 \u0628\u0647 \u0635\u0648\u0631\u062a \u062a\u06a9\u200c \u062c\u0647\u062a\u06cc \u0627\u0646\u062c\u0627\u0645 \u0645\u06cc\u200c\u0634\u062f\u060c \u0628\u0647 \u0627\u06cc\u0646 \u0645\u0639\u0646\u0627 \u06a9\u0647 \u0645\u062f\u0644 \u062a\u0646\u0647\u0627 \u0627\u0632 \u0627\u0637\u0644\u0627\u0639\u0627\u062a \u0642\u0628\u0644 \u06cc\u0627 \u0628\u0639\u062f \u0627\u0632 \u06a9\u0644\u0645\u0647 \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0645\u06cc\u200c\u06a9\u0631\u062f. \u0627\u06cc\u0646 \u0631\u0648\u06cc\u06a9\u0631\u062f \u0628\u0627\u0639\u062b \u0645\u06cc\u200c\u0634\u062f \u06a9\u0647 \u0645\u062f\u0644\u200c\u0647\u0627 \u0646\u062a\u0648\u0627\u0646\u0646\u062f \u0628\u0647\u200c \u0637\u0648\u0631 \u06a9\u0627\u0645\u0644 \u0645\u0639\u0646\u0627\u06cc \u062f\u0642\u06cc\u0642 \u06a9\u0644\u0645\u0627\u062a \u0631\u0627 \u062f\u0631\u06a9 \u06a9\u0646\u0646\u062f\u060c \u0628\u0647 \u0648\u06cc\u0698\u0647 \u062f\u0631 \u062c\u0645\u0644\u0627\u062a \u067e\u06cc\u0686\u06cc\u062f\u0647.<\/span><\/p>\n

BERT \u0628\u0627 \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0627\u0632 \u0646\u0645\u0627\u06cc\u0634\u06cc \u062f\u0648\u0633\u0648\u06cc\u0647\u060c \u0627\u0632 \u0627\u0637\u0644\u0627\u0639\u0627\u062a \u0647\u0631 \u062f\u0648 \u0637\u0631\u0641 \u06a9\u0644\u0645\u0647 \u0628\u0647\u200c\u0637\u0648\u0631 \u0647\u0645\u0632\u0645\u0627\u0646 \u0628\u0647\u0631\u0647 \u0645\u06cc\u200c\u0628\u0631\u062f. \u0627\u06cc\u0646 \u0648\u06cc\u0698\u06af\u06cc \u0628\u0647 \u0645\u062f\u0644 \u0627\u062c\u0627\u0632\u0647 \u0645\u06cc\u200c\u062f\u0647\u062f \u062a\u0627 \u0628\u0647\u200c \u0637\u0648\u0631 \u0639\u0645\u06cc\u0642\u200c\u062a\u0631\u06cc \u0631\u0648\u0627\u0628\u0637 \u0628\u06cc\u0646 \u06a9\u0644\u0645\u0627\u062a \u0631\u0627 \u062f\u0631\u06a9 \u06a9\u0646\u062f \u0648 \u0645\u0639\u0646\u0627\u06cc \u062f\u0642\u06cc\u0642\u200c\u062a\u0631\u06cc \u0627\u0632 \u062c\u0645\u0644\u0627\u062a \u0628\u0647 \u062f\u0633\u062a \u0622\u0648\u0631\u062f.<\/span><\/p>\n

\n

\u06a9\u0627\u0631\u0628\u0631\u062f\u0647\u0627\u06cc BERT \u062f\u0631 \u067e\u0631\u062f\u0627\u0632\u0634 \u0632\u0628\u0627\u0646 \u0637\u0628\u06cc\u0639\u06cc<\/span><\/strong><\/h2>\n

BERT \u0628\u0647 \u0639\u0646\u0648\u0627\u0646 \u06cc\u06a9 \u0645\u062f\u0644 \u0642\u062f\u0631\u062a\u0645\u0646\u062f\u060c \u062a\u0648\u0627\u0646\u0627\u06cc\u06cc\u200c\u0647\u0627\u06cc \u0641\u0631\u0627\u0648\u0627\u0646\u06cc \u062f\u0631 \u0632\u0645\u06cc\u0646\u0647\u200c\u0647\u0627\u06cc \u0645\u062e\u062a\u0644\u0641 \u067e\u0631\u062f\u0627\u0632\u0634 \u0632\u0628\u0627\u0646 \u0637\u0628\u06cc\u0639\u06cc \u062f\u0627\u0631\u062f. \u062f\u0631 \u0627\u062f\u0627\u0645\u0647 \u0628\u0647 \u0628\u0631\u062e\u06cc \u0627\u0632 \u0645\u0647\u0645\u200c\u062a\u0631\u06cc\u0646 \u06a9\u0627\u0631\u0628\u0631\u062f\u0647\u0627\u06cc \u0627\u06cc\u0646 \u0627\u0644\u06af\u0648\u0631\u06cc\u062a\u0645 \u0645\u06cc\u200c\u067e\u0631\u062f\u0627\u0632\u06cc\u0645:<\/span><\/p>\n

1- \u0645\u0648\u062a\u0648\u0631\u0647\u0627\u06cc \u062c\u0633\u062a\u062c\u0648:<\/strong> \u06cc\u06a9\u06cc \u0627\u0632 \u0645\u0647\u0645\u200c\u062a\u0631\u06cc\u0646 \u06a9\u0627\u0631\u0628\u0631\u062f\u0647\u0627\u06cc BERT \u062f\u0631 \u0645\u0648\u062a\u0648\u0631\u0647\u0627\u06cc \u062c\u0633\u062a\u062c\u0648 \u0627\u0633\u062a. \u0628\u0647\u200c \u062e\u0635\u0648\u0635 \u06af\u0648\u06af\u0644 \u0627\u0632 \u0627\u06cc\u0646 \u0645\u062f\u0644 \u0628\u0631\u0627\u06cc \u0628\u0647\u0628\u0648\u062f \u0646\u062a\u0627\u06cc\u062c \u062c\u0633\u062a\u062c\u0648 \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0645\u06cc\u200c\u06a9\u0646\u062f. BERT \u0628\u0647 \u0645\u0648\u062a\u0648\u0631\u0647\u0627\u06cc \u062c\u0633\u062a\u062c\u0648 \u06a9\u0645\u06a9 \u0645\u06cc\u200c\u06a9\u0646\u062f \u062a\u0627 \u0628\u0627 \u062f\u0631\u06a9 \u0628\u0647\u062a\u0631 \u0633\u0648\u0627\u0644\u0627\u062a \u06a9\u0627\u0631\u0628\u0631\u0627\u0646 \u0648 \u0645\u062a\u0646 \u0635\u0641\u062d\u0627\u062a \u0648\u0628\u060c \u0646\u062a\u0627\u06cc\u062c \u0645\u0631\u062a\u0628\u0637\u200c\u200c\u062a\u0631\u06cc \u0627\u0631\u0627\u0626\u0647 \u062f\u0647\u062f.<\/span><\/p>\n

2-<\/strong> \u067e\u0627\u0633\u062e \u0628\u0647 \u0633\u0648\u0627\u0644\u0627\u062a (Question Answering)<\/strong>: \u0645\u062f\u0644\u200c\u0647\u0627\u06cc \u0645\u0628\u062a\u0646\u06cc \u0628\u0631 BERT \u0645\u06cc\u200c\u062a\u0648\u0627\u0646\u0646\u062f \u062f\u0631 \u0633\u06cc\u0633\u062a\u0645\u200c\u0647\u0627\u06cc \u067e\u0627\u0633\u062e\u200c\u06af\u0648\u06cc\u06cc \u0628\u0647 \u0633\u0648\u0627\u0644\u0627\u062a \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0634\u0648\u0646\u062f. \u062f\u0631 \u0627\u06cc\u0646 \u0633\u06cc\u0633\u062a\u0645\u200c\u0647\u0627\u060c \u0645\u062f\u0644 \u0645\u06cc\u200c\u062a\u0648\u0627\u0646\u062f \u0633\u0648\u0627\u0644 \u06a9\u0627\u0631\u0628\u0631 \u0631\u0627 \u067e\u0631\u062f\u0627\u0632\u0634 \u06a9\u0631\u062f\u0647 \u0648 \u067e\u0627\u0633\u062e \u0645\u0646\u0627\u0633\u0628 \u0631\u0627 \u0627\u0632 \u06cc\u06a9 \u0645\u062a\u0646 \u06cc\u0627 \u067e\u0627\u06cc\u06af\u0627\u0647 \u062f\u0627\u062f\u0647 \u0627\u0633\u062a\u062e\u0631\u0627\u062c \u06a9\u0646\u062f.<\/span><\/p>\n

3-<\/strong> \u0637\u0628\u0642\u0647\u200c \u0628\u0646\u062f\u06cc \u0645\u062a\u0646:<\/strong> \u06cc\u06a9\u06cc \u0627\u0632 \u0645\u0647\u0645\u200c\u062a\u0631\u06cc\u0646 \u0645\u0648\u0627\u0631\u062f\u06cc \u06a9\u0647 \u0633\u0628\u0628 \u0634\u062f\u0647 \u062a\u0627 \u0627\u06cc\u0646 \u0645\u0648\u0631\u062f \u0631\u0627 \u062f\u0631 \u0644\u06cc\u0633\u062a “\u0627\u0644\u06af\u0648\u0631\u06cc\u062a\u0645 BERT \u062a\u062d\u0648\u0644\u06cc \u062f\u0631 \u067e\u0631\u062f\u0627\u0632\u0634 \u0632\u0628\u0627\u0646 \u0637\u0628\u06cc\u0639\u06cc (NLP)” \u0642\u0631\u0627\u0631 \u062f\u0647\u06cc\u0645\u060c \u0637\u0628\u0642\u0647 \u0628\u0646\u062f\u06cc \u0645\u062a\u0646 \u0627\u0633\u062a. BERT \u0645\u06cc\u200c\u062a\u0648\u0627\u0646\u062f \u0628\u0631\u0627\u06cc \u0648\u0638\u0627\u06cc\u0641 \u0637\u0628\u0642\u0647\u200c \u0628\u0646\u062f\u06cc \u0645\u062a\u0646 \u0645\u0627\u0646\u0646\u062f \u062a\u0634\u062e\u06cc\u0635 \u0627\u062d\u0633\u0627\u0633\u0627\u062a\u060c \u062f\u0633\u062a\u0647\u200c \u0628\u0646\u062f\u06cc \u0645\u0648\u0636\u0648\u0639\u0627\u062a \u0648 \u0634\u0646\u0627\u0633\u0627\u06cc\u06cc \u0632\u0628\u0627\u0646 \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0634\u0648\u062f. \u0645\u062f\u0644 \u0628\u0627 \u062a\u0648\u062c\u0647 \u0628\u0647 \u0645\u062d\u062a\u0648\u0627\u06cc \u0645\u062a\u0646 \u0648\u0631\u0648\u062f\u06cc\u060c \u0645\u06cc\u200c\u062a\u0648\u0627\u0646\u062f \u0628\u0631\u0686\u0633\u0628\u200c\u0647\u0627\u06cc \u0645\u0646\u0627\u0633\u0628\u06cc \u0631\u0627 \u0628\u0647 \u0622\u0646 \u0627\u062e\u062a\u0635\u0627\u0635 \u062f\u0647\u062f.<\/span><\/p>\n

4- \u0627\u0633\u062a\u062e\u0631\u0627\u062c \u0627\u0637\u0644\u0627\u0639\u0627\u062a (Information Extraction):<\/strong> \u0627\u06cc\u0646 \u0627\u0644\u06af\u0648\u0631\u06cc\u062a\u0645 \u0628\u0647 \u0645\u062f\u0644\u200c\u0647\u0627 \u06a9\u0645\u06a9 \u0645\u06cc\u200c\u06a9\u0646\u062f \u062a\u0627 \u0627\u0637\u0644\u0627\u0639\u0627\u062a \u06a9\u0644\u06cc\u062f\u06cc \u0627\u0632 \u0645\u062a\u0648\u0646 \u0637\u0648\u0644\u0627\u0646\u06cc \u0627\u0633\u062a\u062e\u0631\u0627\u062c \u06a9\u0646\u0646\u062f. \u0627\u06cc\u0646 \u0642\u0627\u0628\u0644\u06cc\u062a \u062f\u0631 \u0633\u06cc\u0633\u062a\u0645\u200c\u0647\u0627\u06cc \u0647\u0648\u0634\u0645\u0646\u062f \u0645\u0627\u0646\u0646\u062f \u0686\u062a\u200c \u0628\u0627\u062a\u200c\u0647\u0627 \u0648 \u0627\u0628\u0632\u0627\u0631\u0647\u0627\u06cc \u062e\u0644\u0627\u0635\u0647\u200c \u0633\u0627\u0632\u06cc \u062e\u0648\u062f\u06a9\u0627\u0631 \u0628\u0633\u06cc\u0627\u0631 \u0645\u0641\u06cc\u062f \u0627\u0633\u062a.<\/span><\/p>\n

5-<\/strong> \u062a\u0631\u062c\u0645\u0647 \u0645\u0627\u0634\u06cc\u0646\u06cc: \u062a\u0631\u062c\u0645\u0647 \u0645\u0627\u0634\u06cc\u0646\u06cc<\/strong> \u06cc\u06a9\u06cc \u062f\u06cc\u06af\u0631 \u0627\u0632 \u06a9\u0627\u0631\u0628\u0631\u062f\u0647\u0627\u06cc \u0628\u0631\u062c\u0633\u062a\u0647 BERT \u0627\u0633\u062a \u06a9\u0647 \u062f\u0631 “\u0627\u0644\u06af\u0648\u0631\u06cc\u062a\u0645 BERT \u062a\u062d\u0648\u0644\u06cc \u062f\u0631 \u067e\u0631\u062f\u0627\u0632\u0634 \u0632\u0628\u0627\u0646 \u0637\u0628\u06cc\u0639\u06cc (NLP)” \u0642\u0631\u0627\u0631 \u06af\u0631\u0641\u062a\u0647 \u0627\u0633\u062a. \u0627\u06cc\u0646 \u0645\u062f\u0644 \u0628\u0627 \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0627\u0632 \u062f\u0648 \u0633\u0648\u06cc\u06af\u06cc \u062e\u0648\u062f \u0645\u06cc\u200c\u062a\u0648\u0627\u0646\u062f \u0645\u0639\u0646\u0627\u06cc \u062f\u0642\u06cc\u0642\u200c\u062a\u0631\u06cc \u0627\u0632 \u062c\u0645\u0644\u0647\u200c\u0647\u0627 \u0627\u0633\u062a\u062e\u0631\u0627\u062c \u06a9\u0631\u062f\u0647 \u0648 \u062a\u0631\u062c\u0645\u0647\u200c\u0647\u0627\u06cc \u0628\u0647\u062a\u0631 \u0648 \u0631\u0648\u0627\u0646\u200c\u062a\u0631\u06cc \u0627\u0631\u0627\u0626\u0647 \u062f\u0647\u062f.<\/span><\/p>\n

\n

\u0631\u0648\u0634\u200c\u0647\u0627\u06cc \u0628\u0647\u06cc\u0646\u0647 \u0633\u0627\u0632\u06cc BERT \u062f\u0631 \u0633\u0626\u0648<\/span><\/strong><\/h2>\n

\u06cc\u06a9\u06cc \u0627\u0632 \u0627\u0648\u0644\u06cc\u0646 \u0633\u0648\u0627\u0644\u0627\u062a\u06cc \u06a9\u0647 \u0628\u0627 \u0645\u0639\u0631\u0641\u06cc \u0627\u06cc\u0646 \u0628\u0647\u200c \u0631\u0648\u0632\u0631\u0633\u0627\u0646\u06cc \u0628\u0647 \u0630\u0647\u0646 \u0628\u0633\u06cc\u0627\u0631\u06cc \u0627\u0632 \u0627\u0641\u0631\u0627\u062f \u0645\u06cc\u200c\u0631\u0633\u062f \u0627\u06cc\u0646 \u0627\u0633\u062a \u06a9\u0647 \u0622\u06cc\u0627 \u0627\u0644\u06af\u0648\u0631\u06cc\u062a\u0645 BERT \u0628\u0631 \u0633\u0626\u0648<\/a><\/span><\/strong> \u062a\u0627\u062b\u06cc\u0631 \u062f\u0627\u0631\u062f\u061f \u067e\u0627\u0633\u062e \u0628\u0647 \u0627\u06cc\u0646 \u0633\u0648\u0627\u0644 \u0633\u0627\u062f\u0647 \u0627\u0633\u062a: \u0627\u0632 \u0622\u0646\u062c\u0627\u06cc\u06cc \u06a9\u0647 \u0633\u0626\u0648 \u0628\u0647 \u0645\u0639\u0646\u0627\u06cc \u0628\u0647\u06cc\u0646\u0647\u200c \u0633\u0627\u0632\u06cc \u0633\u0627\u06cc\u062a \u0628\u0631\u0627\u06cc \u0645\u0648\u062a\u0648\u0631\u0647\u0627\u06cc \u062c\u0633\u062a\u062c\u0648\u0633\u062a\u060c \u0647\u0631 \u062a\u063a\u06cc\u06cc\u0631\u06cc \u06a9\u0647 \u062f\u0631 \u0627\u0644\u06af\u0648\u0631\u06cc\u062a\u0645\u200c\u0647\u0627\u06cc \u0645\u0648\u062a\u0648\u0631\u0647\u0627\u06cc \u062c\u0633\u062a\u062c\u0648 \u0631\u062e \u062f\u0647\u062f\u060c \u0628\u0647 \u0637\u0648\u0631 \u0645\u0633\u062a\u0642\u06cc\u0645 \u0628\u0631 \u0641\u0631\u0622\u06cc\u0646\u062f \u0628\u0647\u06cc\u0646\u0647\u200c \u0633\u0627\u0632\u06cc \u062a\u0623\u062b\u06cc\u0631 \u062e\u0648\u0627\u0647\u062f \u06af\u0630\u0627\u0634\u062a.<\/span><\/p>\n

\u0628\u0646\u0627\u0628\u0631\u0627\u06cc\u0646\u060c \u0633\u0648\u0627\u0644 \u0627\u0635\u0644\u06cc \u0627\u06cc\u0646 \u0646\u06cc\u0633\u062a \u06a9\u0647 \u0622\u06cc\u0627 \u0628\u0647\u200c \u0631\u0648\u0632\u0631\u0633\u0627\u0646\u06cc BERT \u0628\u0631 \u0633\u0626\u0648 \u0627\u062b\u0631\u06af\u0630\u0627\u0631 \u0627\u0633\u062a \u06cc\u0627 \u062e\u06cc\u0631\u060c \u0628\u0644\u06a9\u0647 \u067e\u0631\u0633\u0634 \u0645\u0647\u0645\u200c\u062a\u0631 \u0627\u06cc\u0646 \u0627\u0633\u062a \u06a9\u0647 \u0686\u06af\u0648\u0646\u0647 \u0645\u06cc\u200c\u062a\u0648\u0627\u0646 \u0628\u0631\u0627\u06cc \u0627\u06cc\u0646 \u0627\u0644\u06af\u0648\u0631\u06cc\u062a\u0645 \u0628\u0647\u06cc\u0646\u0647\u200c\u0633\u0627\u0632\u06cc \u0627\u0646\u062c\u0627\u0645 \u062f\u0627\u062f\u061f<\/span><\/p>\n

\u06cc\u06a9\u06cc \u0627\u0632 \u0634\u0648\u062e\u06cc\u200c\u0647\u0627\u06cc \u0631\u0627\u06cc\u062c \u062f\u0631 \u0634\u0628\u06a9\u0647\u200c\u0647\u0627\u06cc \u0627\u062c\u062a\u0645\u0627\u0639\u06cc \u062f\u0631\u0628\u0627\u0631\u0647 \u0628\u0647\u06cc\u0646\u0647\u200c\u0633\u0627\u0632\u06cc \u0628\u0631\u0627\u06cc BERT\u060c \u0644\u06cc\u0633\u062a \u062f\u0647\u200c\u062a\u0627\u06cc\u06cc \u0632\u06cc\u0631 \u0627\u0633\u062a:<\/span><\/p>\n

 <\/p>\n

10 \u0631\u0648\u0634 \u0628\u0631\u0627\u06cc \u0628\u0647\u06cc\u0646\u0647\u200c \u0633\u0627\u0632\u06cc \u0627\u0644\u06af\u0648\u0631\u06cc\u062a\u0645 BERT \u06af\u0648\u06af\u0644:<\/strong><\/p>\n

    \n
  1. \u0634\u0645\u0627<\/span><\/li>\n
  2. \u0646\u0645\u06cc\u200c\u062a\u0648\u0627\u0646\u06cc\u062f<\/span><\/li>\n
  3. \u0628\u0647\u06cc\u0646\u0647\u200c\u0633\u0627\u0632\u06cc \u06a9\u0646\u06cc\u062f<\/span><\/li>\n
  4. \u0628\u0631\u0627\u06cc<\/span><\/li>\n
  5. \u06cc\u06a9<\/span><\/li>\n
  6. \u0645\u062f\u0644 \u06cc\u0627\u062f\u06af\u06cc\u0631\u06cc \u0639\u0645\u06cc\u0642<\/span><\/li>\n
  7. \u0648 NLP<\/span><\/li>\n
  8. \u0686\u0631\u0627 \u06a9\u0647<\/span><\/li>\n
  9. \u0627\u06cc\u0646 \u0627\u0644\u06af\u0648\u0631\u06cc\u062a\u0645<\/span><\/li>\n
  10. \u0628\u0631\u0627\u06cc \u06a9\u0627\u0631\u0628\u0631\u0627\u0646 \u0637\u0631\u0627\u062d\u06cc \u0634\u062f\u0647 \u0627\u0633\u062a<\/span><\/li>\n<\/ol>\n

     <\/p>\n

    \"\u0627\u0644\u06af\u0648\u0631\u06cc\u062a\u0645<\/a><\/p>\n

     <\/p>\n

    \u0627\u06af\u0631 \u0627\u0632 \u062f\u06cc\u062f\u06af\u0627\u0647 \u06af\u0648\u06af\u0644 \u0628\u0647 \u0627\u06cc\u0646 \u0645\u0648\u0636\u0648\u0639 \u0646\u06af\u0627\u0647 \u06a9\u0646\u06cc\u0645\u060c \u0628\u0627\u06cc\u062f \u0628\u0647 \u0627\u06cc\u0646 \u0648\u0627\u0642\u0639\u06cc\u062a \u0627\u0634\u0627\u0631\u0647 \u06a9\u0646\u06cc\u0645 \u06a9\u0647 \u0627\u0633\u0627\u0633\u0627\u064b \u0647\u06cc\u0686 \u0631\u0648\u0634\u06cc \u0648\u062c\u0648\u062f \u0646\u062f\u0627\u0631\u062f \u06a9\u0647 \u0628\u062a\u0648\u0627\u0646\u06cc\u0645 \u0622\u0646 \u0631\u0627 \u00ab\u0628\u0647\u06cc\u0646\u0647\u200c \u0633\u0627\u0632\u06cc \u0628\u0631\u0627\u06cc BERT\u00bb \u0628\u0646\u0627\u0645\u06cc\u0645. \u062f\u0646\u06cc \u0633\u0627\u0644\u06cc\u0648\u0627\u0646\u060c \u06cc\u06a9\u06cc \u0627\u0632 \u0627\u0641\u0631\u0627\u062f \u0628\u0631\u062c\u0633\u062a\u0647 \u06af\u0648\u06af\u0644\u060c \u062f\u0631 \u062a\u0648\u0626\u06cc\u062a\u0631 \u0627\u06cc\u0646 \u0646\u06a9\u062a\u0647 \u0631\u0627 \u0628\u0647 \u062e\u0648\u0628\u06cc \u0628\u06cc\u0627\u0646 \u06a9\u0631\u062f\u0647 \u0627\u0633\u062a:<\/span><\/p>\n

    “\u0647\u06cc\u0686 \u0631\u0627\u0647\u06cc \u0628\u0631\u0627\u06cc \u0628\u0647\u06cc\u0646\u0647\u200c\u0633\u0627\u0632\u06cc \u0628\u0631\u0627\u06cc BERT \u0648\u062c\u0648\u062f \u0646\u062f\u0627\u0631\u062f. \u0627\u06cc\u0646 \u0628\u0647\u200c\u0631\u0648\u0632\u0631\u0633\u0627\u0646\u06cc \u062a\u0646\u0647\u0627 \u0627\u0644\u06af\u0648\u0631\u06cc\u062a\u0645\u200c\u0647\u0627\u06cc \u0645\u0627 \u0631\u0627 \u0647\u0648\u0634\u0645\u0646\u062f\u062a\u0631 \u06a9\u0631\u062f\u0647 \u0627\u0633\u062a\u060c \u0648 \u0627\u06cc\u0646 \u0628\u062f\u0627\u0646 \u0645\u0639\u0646\u0627\u0633\u062a \u06a9\u0647 \u062d\u0627\u0644\u0627 \u0628\u0647\u062a\u0631 \u0645\u06cc\u200c\u062a\u0648\u0627\u0646\u06cc\u0645 \u0645\u062d\u062a\u0648\u0627\u06cc \u06a9\u0627\u0631\u0628\u0631 \u0645\u062d\u0648\u0631 \u0631\u0627 \u062f\u0631\u06a9 \u06a9\u0646\u06cc\u0645. \u0628\u0646\u0627\u0628\u0631\u0627\u06cc\u0646\u060c \u062a\u0645\u0631\u06a9\u0632 \u0634\u0645\u0627 \u0628\u0627\u06cc\u062f \u0628\u0631 \u062f\u0631\u06a9 \u0646\u06cc\u0627\u0632\u0647\u0627\u06cc \u06a9\u0627\u0631\u0628\u0631 \u0648 \u062a\u0648\u0644\u06cc\u062f \u0645\u062d\u062a\u0648\u0627\u06cc\u06cc \u0628\u0627\u0634\u062f \u06a9\u0647 \u0628\u0647 \u0627\u06cc\u0646 \u0646\u06cc\u0627\u0632\u0647\u0627 \u067e\u0627\u0633\u062e \u062f\u0647\u062f.”<\/span><\/p>\n

    \u0627\u06af\u0631 \u0628\u06cc\u0634\u062a\u0631 \u062f\u0642\u062a \u06a9\u0646\u06cc\u0645\u060c \u0645\u06cc\u200c\u0628\u06cc\u0646\u06cc\u0645 \u06a9\u0647 \u0627\u06cc\u0646 \u0627\u0644\u06af\u0648\u0631\u06cc\u062a\u0645 \u0628\u0647 \u0637\u0648\u0631 \u0648\u06cc\u0698\u0647 \u0628\u0631 \u0647\u062f\u0641 \u062c\u0633\u062a\u062c\u0648\u06cc \u06a9\u0627\u0631\u0628\u0631 \u062a\u0645\u0631\u06a9\u0632 \u062f\u0627\u0631\u062f \u0648 \u062a\u0646\u0647\u0627 \u0647\u062f\u0641 \u0627\u0632 \u0627\u0646\u062a\u0634\u0627\u0631 \u0622\u0646\u060c \u0628\u0647\u0628\u0648\u062f \u062a\u062c\u0631\u0628\u0647 \u062c\u0633\u062a\u062c\u0648\u06cc \u06a9\u0627\u0631\u0628\u0631\u0627\u0646 \u0627\u0633\u062a.<\/span><\/p>\n

    \n

    \u0645\u0632\u0627\u06cc\u0627\u06cc BERT \u0646\u0633\u0628\u062a \u0628\u0647 \u0645\u062f\u0644\u200c\u0647\u0627\u06cc \u0642\u0628\u0644\u06cc<\/span><\/strong><\/h2>\n

    1- \u062f\u0631\u06a9 \u0639\u0645\u06cc\u0642\u200c\u062a\u0631 \u0627\u0632 \u0645\u0639\u0646\u0627: \u06cc\u06a9\u06cc \u0627\u0632 \u0645\u0647\u0645\u200c\u062a\u0631\u06cc\u0646 \u0645\u0632\u0627\u06cc\u0627\u06cc \u0627\u0644\u06af\u0648\u0631\u06cc\u062a\u0645 BERT \u06a9\u0647 \u0633\u0628\u0628 \u0634\u062f\u0647 \u0622\u0646 \u0631\u0627 \u062f\u0631 \u0644\u06cc\u0633\u062a \u0627\u0644\u06af\u0648\u0631\u06cc\u062a\u0645 BERT \u062a\u062d\u0648\u0644\u06cc \u062f\u0631 \u067e\u0631\u062f\u0627\u0632\u0634 \u0632\u0628\u0627\u0646 \u0637\u0628\u06cc\u0639\u06cc (NLP) \u0628\u06af\u0630\u0627\u0631\u06cc\u0645\u060c \u062f\u0631\u06a9 \u0645\u0639\u0646\u0627\u06cc \u0639\u0645\u06cc\u0642 \u0622\u0646 \u0627\u0633\u062a. \u0647\u0645\u0627\u0646\u0637\u0648\u0631 \u06a9\u0647 \u0627\u0634\u0627\u0631\u0647 \u0634\u062f\u060c \u06cc\u06a9\u06cc \u0627\u0632 \u0645\u0647\u0645\u200c\u062a\u0631\u06cc\u0646 \u0645\u0632\u0627\u06cc\u0627\u06cc BERT \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0627\u0632 \u062f\u0648\u0633\u0648\u06cc\u06af\u06cc \u0627\u0633\u062a. \u0627\u06cc\u0646 \u0648\u06cc\u0698\u06af\u06cc \u0628\u0627\u0639\u062b \u0645\u06cc\u200c\u0634\u0648\u062f \u06a9\u0647 \u0645\u062f\u0644 \u0642\u0627\u062f\u0631 \u0628\u0647 \u062f\u0631\u06a9 \u0639\u0645\u06cc\u0642\u200c\u062a\u0631 \u0648 \u062f\u0642\u06cc\u0642\u200c\u062a\u0631\u06cc \u0627\u0632 \u0645\u0639\u0646\u0627\u06cc \u0645\u062a\u0646 \u0648 \u0631\u0648\u0627\u0628\u0637 \u0628\u06cc\u0646 \u06a9\u0644\u0645\u0627\u062a \u0628\u0627\u0634\u062f.<\/span><\/p>\n

    2- \u0627\u0646\u0639\u0637\u0627\u0641\u200c\u067e\u0630\u06cc\u0631\u06cc \u0628\u0627\u0644\u0627: BERT \u06cc\u06a9 \u0645\u062f\u0644 \u067e\u06cc\u0634\u200c\u0622\u0645\u0648\u0632\u0634\u06cc (Pre-trained) \u0627\u0633\u062a \u06a9\u0647 \u0645\u06cc\u200c\u062a\u0648\u0627\u0646\u062f \u0628\u0631\u0627\u06cc \u0648\u0638\u0627\u06cc\u0641 \u0645\u062e\u062a\u0644\u0641 \u0628\u0647\u06cc\u0646\u0647\u200c \u0633\u0627\u0632\u06cc \u0634\u0648\u062f. \u0627\u06cc\u0646 \u06cc\u0639\u0646\u06cc \u0645\u062f\u0644 \u0627\u0628\u062a\u062f\u0627 \u0631\u0648\u06cc \u06cc\u06a9 \u0645\u062c\u0645\u0648\u0639\u0647 \u062f\u0627\u062f\u0647 \u0628\u0632\u0631\u06af \u0622\u0645\u0648\u0632\u0634 \u0645\u06cc\u200c\u0628\u06cc\u0646\u062f \u0648 \u0633\u067e\u0633 \u0645\u06cc\u200c\u062a\u0648\u0627\u0646 \u0622\u0646 \u0631\u0627 \u0628\u0631\u0627\u06cc \u0627\u0646\u062c\u0627\u0645 \u0648\u0638\u0627\u06cc\u0641 \u062e\u0627\u0635 \u0628\u0627 \u062f\u0627\u062f\u0647\u200c\u0647\u0627\u06cc \u06a9\u0645\u062a\u0631\u06cc \u0645\u062c\u062f\u062f\u0627\u064b \u0622\u0645\u0648\u0632\u0634 \u062f\u0627\u062f. \u0627\u06cc\u0646 \u0648\u06cc\u0698\u06af\u06cc \u0627\u0646\u0639\u0637\u0627\u0641\u200c \u067e\u0630\u06cc\u0631\u06cc BERT \u0631\u0627 \u062f\u0631 \u0632\u0645\u06cc\u0646\u0647\u200c\u0647\u0627\u06cc \u0645\u062e\u062a\u0644\u0641 \u0627\u0641\u0632\u0627\u06cc\u0634 \u0645\u06cc\u200c\u062f\u0647\u062f.<\/span><\/p>\n

    \u062f\u0642\u062a \u0628\u0627\u0644\u0627\u062a\u0631 \u062f\u0631 \u0648\u0638\u0627\u06cc\u0641 NLP: \u0627\u0632 \u062f\u06cc\u06af\u0631 \u0645\u0648\u0627\u0631\u062f \u067e\u0631 \u0627\u0647\u0645\u06cc\u062a \u0644\u06cc\u0633\u062a \u0627\u0644\u06af\u0648\u0631\u06cc\u062a\u0645 BERT \u062a\u062d\u0648\u0644\u06cc \u062f\u0631 \u067e\u0631\u062f\u0627\u0632\u0634 \u0632\u0628\u0627\u0646 \u0637\u0628\u06cc\u0639\u06cc (NLP)\u060c \u0628\u0627\u06cc\u062f \u0628\u0647 \u0627\u06cc\u0646 \u0645\u0648\u0631\u062f \u0627\u0634\u0627\u0631\u0647 \u062f\u0627\u0634\u062a. BERT \u062a\u0648\u0627\u0646\u0633\u062a\u0647 \u0627\u0633\u062a \u062f\u0631 \u0628\u0633\u06cc\u0627\u0631\u06cc \u0627\u0632 \u0648\u0638\u0627\u06cc\u0641 \u0627\u0633\u062a\u0627\u0646\u062f\u0627\u0631\u062f NLP \u0645\u0627\u0646\u0646\u062f \u0637\u0628\u0642\u0647\u200c \u0628\u0646\u062f\u06cc \u0645\u062a\u0646\u060c \u067e\u0627\u0633\u062e\u200c \u06af\u0648\u06cc\u06cc \u0628\u0647 \u0633\u0648\u0627\u0644\u0627\u062a \u0648 \u062a\u0634\u062e\u06cc\u0635 \u0645\u0648\u062c\u0648\u062f\u06cc\u062a\u200c\u0647\u0627 \u0646\u062a\u0627\u06cc\u062c \u0628\u0633\u06cc\u0627\u0631 \u0628\u0647\u062a\u0631\u06cc \u0646\u0633\u0628\u062a \u0628\u0647 \u0645\u062f\u0644\u200c\u0647\u0627\u06cc \u0642\u0628\u0644\u06cc \u06a9\u0633\u0628 \u06a9\u0646\u062f. \u0627\u06cc\u0646 \u062f\u0642\u062a \u0628\u0627\u0644\u0627 \u0628\u0627\u0639\u062b \u0634\u062f\u0647 \u0627\u0633\u062a \u06a9\u0647 BERT \u0628\u0647 \u0633\u0631\u0639\u062a \u062f\u0631 \u0645\u06cc\u0627\u0646 \u0645\u062d\u0642\u0642\u0627\u0646 \u0648 \u062a\u0648\u0633\u0639\u0647\u200c \u062f\u0647\u0646\u062f\u06af\u0627\u0646 \u0645\u062d\u0628\u0648\u0628 \u0634\u0648\u062f.<\/span><\/p>\n

    \n

    \u0686\u0627\u0644\u0634\u200c\u0647\u0627 \u0648 \u0645\u062d\u062f\u0648\u062f\u06cc\u062a\u200c\u0647\u0627\u06cc BERT<\/span><\/strong><\/h2>\n

    \u0627\u06af\u0631\u0686\u0647 BERT \u06cc\u06a9 \u0645\u062f\u0644 \u0642\u062f\u0631\u062a\u0645\u0646\u062f \u0627\u0633\u062a\u060c \u0627\u0645\u0627 \u0686\u0627\u0644\u0634\u200c\u0647\u0627 \u0648 \u0645\u062d\u062f\u0648\u062f\u06cc\u062a\u200c\u0647\u0627\u06cc\u06cc \u0646\u06cc\u0632 \u062f\u0627\u0631\u062f:<\/span><\/p>\n

    1-<\/strong> \u0645\u0646\u0627\u0628\u0639 \u0645\u062d\u0627\u0633\u0628\u0627\u062a\u06cc \u0628\u0627\u0644\u0627: \u06cc\u06a9\u06cc \u0627\u0632 \u0686\u0627\u0644\u0634\u200c\u0647\u0627\u06cc \u0627\u0635\u0644\u06cc<\/strong> BERT \u0646\u06cc\u0627\u0632 \u0628\u0647 \u0645\u0646\u0627\u0628\u0639 \u0645\u062d\u0627\u0633\u0628\u0627\u062a\u06cc \u0628\u0627\u0644\u0627 \u0627\u0633\u062a. \u0622\u0645\u0648\u0632\u0634 \u0648 \u0627\u062c\u0631\u0627\u06cc BERT \u0628\u0647\u200c \u062e\u0635\u0648\u0635 \u062f\u0631 \u0646\u0633\u062e\u0647\u200c\u0647\u0627\u06cc \u0628\u0632\u0631\u06af\u200c\u062a\u0631 (\u0645\u0627\u0646\u0646\u062f BERT-Large) \u0646\u06cc\u0627\u0632\u0645\u0646\u062f \u0633\u062e\u062a\u200c \u0627\u0641\u0632\u0627\u0631\u0647\u0627\u06cc \u0642\u062f\u0631\u062a\u0645\u0646\u062f\u06cc \u0645\u0627\u0646\u0646\u062f GPU \u06cc\u0627 TPU \u0627\u0633\u062a. \u0627\u06cc\u0646 \u0645\u0648\u0636\u0648\u0639 \u0645\u06cc\u200c\u062a\u0648\u0627\u0646\u062f \u0628\u0631\u0627\u06cc \u0628\u0633\u06cc\u0627\u0631\u06cc \u0627\u0632 \u0633\u0627\u0632\u0645\u0627\u0646\u200c\u0647\u0627 \u0647\u0632\u06cc\u0646\u0647\u200c\u0628\u0631 \u0628\u0627\u0634\u062f.<\/span><\/p>\n

    2- \u067e\u06cc\u0686\u06cc\u062f\u06af\u06cc \u0645\u0639\u0645\u0627\u0631\u06cc:<\/strong> BERT \u0628\u0647 \u062f\u0644\u06cc\u0644 \u067e\u06cc\u0686\u06cc\u062f\u06af\u06cc \u0645\u0639\u0645\u0627\u0631\u06cc \u062a\u0631\u0627\u0646\u0633\u0641\u0648\u0631\u0645\u0631 \u0648 \u062a\u0639\u062f\u0627\u062f \u0632\u06cc\u0627\u062f \u067e\u0627\u0631\u0627\u0645\u062a\u0631\u0647\u0627\u060c \u0646\u06cc\u0627\u0632 \u0628\u0647 \u0632\u0645\u0627\u0646 \u0648 \u0645\u0646\u0627\u0628\u0639 \u0632\u06cc\u0627\u062f\u06cc \u0628\u0631\u0627\u06cc \u0622\u0645\u0648\u0632\u0634 \u062f\u0627\u0631\u062f. \u0627\u06cc\u0646 \u0645\u062f\u0644 \u0647\u0645\u0686\u0646\u06cc\u0646 \u0646\u06cc\u0627\u0632\u0645\u0646\u062f \u062a\u0646\u0638\u06cc\u0645 \u062f\u0642\u06cc\u0642 (Fine-tuning) \u0628\u0631\u0627\u06cc \u0648\u0638\u0627\u06cc\u0641 \u062e\u0627\u0635 \u0627\u0633\u062a \u06a9\u0647 \u062e\u0648\u062f \u0641\u0631\u0622\u06cc\u0646\u062f\u06cc \u0632\u0645\u0627\u0646\u200c\u0628\u0631 \u0648 \u067e\u06cc\u0686\u06cc\u062f\u0647 \u0645\u062d\u0633\u0648\u0628 \u0645\u06cc\u200c\u0634\u0648\u062f.<\/span><\/p>\n

    3- \u0645\u062d\u062f\u0648\u062f\u06cc\u062a \u062f\u0631 \u062f\u0631\u06a9 \u0637\u0648\u0644\u0627\u0646\u06cc\u200c \u0645\u062f\u062a:<\/strong> BERT \u0628\u0627 \u0648\u062c\u0648\u062f \u062f\u0627\u0634\u062a\u0646 \u0642\u0627\u0628\u0644\u06cc\u062a \u062f\u0648\u0633\u0648\u06cc\u06af\u06cc\u060c \u0647\u0645\u0686\u0646\u0627\u0646 \u062f\u0631 \u062f\u0631\u06a9 \u0645\u062a\u0648\u0646 \u0628\u0633\u06cc\u0627\u0631 \u0637\u0648\u0644\u0627\u0646\u06cc \u0628\u0627 \u0645\u0634\u06a9\u0644 \u0645\u0648\u0627\u062c\u0647 \u0627\u0633\u062a. \u0645\u062f\u0644\u200c\u0647\u0627\u06cc \u062a\u0631\u0627\u0646\u0633\u0641\u0648\u0631\u0645\u0631 \u0628\u0647 \u062f\u0644\u06cc\u0644 \u0645\u062d\u062f\u0648\u062f\u06cc\u062a \u062d\u0627\u0641\u0638\u0647 \u0646\u0645\u06cc\u200c\u062a\u0648\u0627\u0646\u0646\u062f \u0628\u0647\u200c \u0637\u0648\u0631 \u0647\u0645\u0632\u0645\u0627\u0646 \u0628\u0647 \u0647\u0645\u0647 \u0628\u062e\u0634\u200c\u0647\u0627\u06cc \u06cc\u06a9 \u0645\u062a\u0646 \u0637\u0648\u0644\u0627\u0646\u06cc \u062a\u0648\u062c\u0647 \u06a9\u0646\u0646\u062f.<\/span><\/p>\n

    \n

    \u00a0\u0646\u0633\u062e\u0647\u200c\u0647\u0627\u06cc \u062a\u0648\u0633\u0639\u0647 \u06cc\u0627\u0641\u062a\u0647 BERT<\/span><\/strong><\/h2>\n

    \u0628\u0627 \u0645\u0648\u0641\u0642\u06cc\u062a BERT\u060c \u0646\u0633\u062e\u0647\u200c\u0647\u0627\u06cc \u0628\u0647\u0628\u0648\u062f \u06cc\u0627\u0641\u062a\u0647 \u0648 \u0645\u062a\u0646\u0648\u0639\u06cc \u0627\u0632 \u0622\u0646 \u0645\u0639\u0631\u0641\u06cc \u0634\u062f\u0647 \u0627\u0633\u062a:<\/span><\/p>\n

    1- \u0645\u062f\u0644 RoBERTa\u2026Robustly Optimized BERT Approach: \u0627\u06cc\u0646 \u0645\u062f\u0644 \u06cc\u06a9\u06cc \u0627\u0632 \u062a\u0648\u0633\u0639\u0647\u200c \u06cc\u0627\u0641\u062a\u0647\u200c\u062a\u0631\u06cc\u0646 \u0645\u062f\u0644\u200c\u0647\u0627\u06cc \u0628\u0631\u062a \u0645\u06cc\u200c\u0628\u0627\u0634\u062f. RoBERTa \u0646\u0633\u062e\u0647 \u0628\u0647\u06cc\u0646\u0647\u200c \u0633\u0627\u0632\u06cc\u200c\u0634\u062f\u0647 BERT \u0627\u0633\u062a \u06a9\u0647 \u062a\u0648\u0633\u0637 \u0645\u062d\u0642\u0642\u0627\u0646 Facebook AI \u0627\u0631\u0627\u0626\u0647 \u0634\u062f. \u0627\u06cc\u0646 \u0645\u062f\u0644 \u0628\u0627 \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0627\u0632 \u062f\u0627\u062f\u0647\u200c\u0647\u0627\u06cc \u0628\u06cc\u0634\u062a\u0631\u06cc \u0622\u0645\u0648\u0632\u0634 \u062f\u0627\u062f\u0647 \u0634\u062f\u0647 \u0648 \u067e\u0627\u0631\u0627\u0645\u062a\u0631\u0647\u0627\u06cc \u0628\u0647\u062a\u0631\u06cc \u0628\u0631\u0627\u06cc \u067e\u06cc\u0634\u200c \u0622\u0645\u0648\u0632\u0634 \u062e\u0648\u062f \u0627\u0646\u062a\u062e\u0627\u0628 \u06a9\u0631\u062f\u0647 \u0627\u0633\u062a. RoBERTa \u062f\u0642\u062a \u0628\u0627\u0644\u0627\u062a\u0631\u06cc \u0646\u0633\u0628\u062a \u0628\u0647 BERT \u062f\u0631 \u0628\u0633\u06cc\u0627\u0631\u06cc \u0627\u0632 \u0648\u0638\u0627\u06cc\u0641 NLP \u062f\u0627\u0631\u062f.<\/span><\/p>\n

    2- \u0645\u062f\u0644 ALBERT\u2026A Lite BERT: \u0645\u062f\u0644 ALBERT \u0646\u0633\u062e\u0647 \u0633\u0628\u06a9\u200c\u062a\u0631 BERT \u0627\u0633\u062a \u06a9\u0647 \u062a\u0639\u062f\u0627\u062f \u067e\u0627\u0631\u0627\u0645\u062a\u0631\u0647\u0627 \u0648 \u0646\u06cc\u0627\u0632\u0647\u0627\u06cc \u0645\u062d\u0627\u0633\u0628\u0627\u062a\u06cc \u0631\u0627 \u06a9\u0627\u0647\u0634 \u062f\u0627\u062f\u0647 \u0627\u0633\u062a. \u0627\u06cc\u0646 \u0645\u062f\u0644 \u0628\u0627 \u06a9\u0627\u0647\u0634 \u0627\u0628\u0639\u0627\u062f \u0644\u0627\u06cc\u0647\u200c\u0647\u0627 \u0648 \u0641\u0627\u06a9\u062a\u0648\u0631\u0647\u0627\u06cc \u062f\u06cc\u06af\u0631\u060c \u0647\u0645\u0686\u0646\u0627\u0646 \u062f\u0642\u062a \u0628\u0627\u0644\u0627\u06cc \u062e\u0648\u062f \u0631\u0627 \u062d\u0641\u0638 \u0645\u06cc\u200c\u06a9\u0646\u062f.<\/span><\/p>\n

    3- \u0645\u062f\u0644 DistilBERT: \u0645\u062f\u0644 DistilBERT \u06cc\u06a9\u06cc \u0627\u0632 \u062c\u0630\u0627\u0628\u200c\u062a\u0631\u06cc\u0646 \u0645\u062f\u0644\u200c\u0647\u0627\u06cc \u062a\u0648\u0633\u0639\u0647 \u06cc\u0627\u0641\u062a\u0647 \u0644\u06cc\u0633\u062a \u0627\u0644\u06af\u0648\u0631\u06cc\u062a\u0645 BERT \u062a\u062d\u0648\u0644\u06cc \u062f\u0631 \u067e\u0631\u062f\u0627\u0632\u0634 \u0632\u0628\u0627\u0646 \u0637\u0628\u06cc\u0639\u06cc (NLP) \u0645\u06cc\u200c\u0628\u0627\u0634\u062f. \u0627\u06cc\u0646 \u0645\u0648\u0631\u062f \u06cc\u06a9 \u0646\u0633\u062e\u0647 \u06a9\u0648\u0686\u06a9\u200c\u062a\u0631 \u0648 \u0633\u0631\u06cc\u0639\u200c\u062a\u0631 \u0627\u0632 BERT \u0627\u0633\u062a \u06a9\u0647 \u0628\u0627 \u0641\u0634\u0631\u062f\u0647\u200c \u0633\u0627\u0632\u06cc \u0645\u062f\u0644 \u0627\u0635\u0644\u06cc \u0637\u0631\u0627\u062d\u06cc \u0634\u062f\u0647 \u0627\u0633\u062a. \u0627\u06cc\u0646 \u0645\u062f\u0644 \u0628\u0631\u0627\u06cc \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u062f\u0631 \u0633\u06cc\u0633\u062a\u0645\u200c\u0647\u0627\u06cc \u0628\u0644\u0627\u062f\u0631\u0646\u06af (Real-Time) \u0648 \u0645\u0646\u0627\u0628\u0639 \u0645\u062d\u062f\u0648\u062f \u0645\u0627\u0646\u0646\u062f \u0645\u0648\u0628\u0627\u06cc\u0644\u200c\u0647\u0627 \u0645\u0646\u0627\u0633\u0628 \u0627\u0633\u062a.<\/span><\/p>\n

     <\/p>\n

    \"\u0627\u0644\u06af\u0648\u0631\u06cc\u062a\u0645<\/a><\/p>\n

    \n

    \u0646\u062a\u06cc\u062c\u0647 \u06af\u06cc\u0631\u06cc<\/span><\/strong><\/h2>\n

    \u0627\u0644\u06af\u0648\u0631\u06cc\u062a\u0645 BERT \u0628\u0647 \u0639\u0646\u0648\u0627\u0646 \u06cc\u06a9\u06cc \u0627\u0632 \u062a\u062d\u0648\u0644\u0627\u062a \u0645\u0647\u0645 \u062f\u0631 \u0632\u0645\u06cc\u0646\u0647 \u067e\u0631\u062f\u0627\u0632\u0634 \u0632\u0628\u0627\u0646 \u0637\u0628\u06cc\u0639\u06cc\u060c \u062a\u0648\u0627\u0646\u0633\u062a\u0647 \u0627\u0633\u062a \u062a\u0648\u0627\u0646\u0627\u06cc\u06cc\u200c\u0647\u0627\u06cc \u0645\u062f\u0644\u200c\u0647\u0627\u06cc NLP \u0631\u0627 \u0628\u0647 \u0633\u0637\u062d \u062c\u062f\u06cc\u062f\u06cc \u0627\u0631\u062a\u0642\u0627 \u062f\u0647\u062f. \u0628\u0627 \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0627\u0632 \u0646\u0645\u0627\u06cc\u0634\u06cc \u062f\u0648\u0633\u0648\u06cc\u0647 \u0648 \u0645\u0639\u0645\u0627\u0631\u06cc \u062a\u0631\u0627\u0646\u0633\u0641\u0648\u0631\u0645\u0631\u060c BERT \u0628\u0647 \u0645\u062f\u0644\u200c\u0647\u0627 \u06a9\u0645\u06a9 \u0645\u06cc\u200c\u06a9\u0646\u062f \u062a\u0627 \u062f\u0631\u06a9 \u0639\u0645\u06cc\u0642\u200c\u062a\u0631\u06cc \u0627\u0632 \u0645\u0639\u0646\u0627\u06cc \u0645\u062a\u0646 \u0648 \u0631\u0648\u0627\u0628\u0637 \u0628\u06cc\u0646 \u06a9\u0644\u0645\u0627\u062a \u067e\u06cc\u062f\u0627 \u06a9\u0646\u0646\u062f. \u0627\u06cc\u0646 \u0645\u062f\u0644 \u062f\u0631 \u0648\u0638\u0627\u06cc\u0641 \u0645\u062a\u0646\u0648\u0639\u06cc \u0645\u0627\u0646\u0646\u062f \u062c\u0633\u062a\u062c\u0648\u060c \u062a\u0631\u062c\u0645\u0647 \u0645\u0627\u0634\u06cc\u0646\u06cc\u060c \u067e\u0627\u0633\u062e \u0628\u0647 \u0633\u0648\u0627\u0644\u0627\u062a \u0648 \u0637\u0628\u0642\u0647\u200c \u0628\u0646\u062f\u06cc \u0645\u062a\u0646 \u0645\u0648\u0631\u062f \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0642\u0631\u0627\u0631 \u06af\u0631\u0641\u062a\u0647 \u0648 \u0646\u062a\u0627\u06cc\u062c \u0686\u0634\u0645\u06af\u06cc\u0631\u06cc \u0628\u0647 \u062f\u0633\u062a \u0622\u0648\u0631\u062f\u0647 \u0627\u0633\u062a.<\/span><\/p>\n

    \u0628\u0627 \u0648\u062c\u0648\u062f \u0686\u0627\u0644\u0634\u200c\u0647\u0627\u06cc \u0645\u0631\u062a\u0628\u0637 \u0628\u0627 \u0645\u0646\u0627\u0628\u0639 \u0645\u062d\u0627\u0633\u0628\u0627\u062a\u06cc \u0648 \u067e\u06cc\u0686\u06cc\u062f\u06af\u06cc \u0645\u0639\u0645\u0627\u0631\u06cc\u060c BERT \u0647\u0645\u0686\u0646\u0627\u0646 \u0628\u0647 \u0639\u0646\u0648\u0627\u0646 \u06cc\u06a9\u06cc \u0627\u0632 \u067e\u06cc\u0634\u0631\u0648\u062a\u0631\u06cc\u0646 \u0645\u062f\u0644\u200c\u0647\u0627\u06cc NLP \u062f\u0631 \u062d\u0627\u0644 \u062a\u0648\u0633\u0639\u0647 \u0648 \u0628\u0647\u0628\u0648\u062f \u0627\u0633\u062a. \u0646\u0633\u062e\u0647\u200c\u0647\u0627\u06cc \u062a\u0648\u0633\u0639\u0647\u200c \u06cc\u0627\u0641\u062a\u0647 \u0645\u0627\u0646\u0646\u062f RoBERTa \u0648 DistilBERT \u0646\u0634\u0627\u0646 \u0645\u06cc\u200c\u062f\u0647\u0646\u062f \u06a9\u0647 \u0622\u06cc\u0646\u062f\u0647 \u067e\u0631\u062f\u0627\u0632\u0634 \u0632\u0628\u0627\u0646 \u0637\u0628\u06cc\u0639\u06cc \u0647\u0645\u0686\u0646\u0627\u0646 \u0648\u0627\u0628\u0633\u062a\u0647 \u0628\u0647 \u0628\u0647\u0628\u0648\u062f \u0645\u062f\u0644\u200c\u0647\u0627\u06cc \u067e\u06cc\u0634\u0631\u0641\u062a\u0647 \u0645\u0627\u0646\u0646\u062f BERT \u062e\u0648\u0627\u0647\u062f \u0628\u0648\u062f.<\/span><\/p>\n","protected":false},"excerpt":{"rendered":"

      \u0627\u0644\u06af\u0648\u0631\u06cc\u062a\u0645 BERT \u06cc\u06a9 \u0627\u0644\u06af\u0648\u0631\u06cc\u062a\u0645 \u0628\u0631 \u067e\u0627\u06cc\u0647 \u0647\u0648\u0634 \u0645\u0635\u0646\u0648\u0639\u06cc \u0627\u0633\u062a \u06a9\u0647 \u0628\u0647 \u0631\u0628\u0627\u062a\u200c\u0647\u0627\u06cc \u06af\u0648\u06af\u0644 \u0627\u06cc\u0646 \u0627\u0645\u06a9\u0627\u0646 \u0631\u0627 \u0645\u06cc\u200c\u062f\u0647\u062f \u062a\u0627 \u0633\u0627\u062e\u062a\u0627\u0631 \u0645\u0639\u0646\u0627\u06cc\u06cc \u06a9\u0644\u0645\u0627\u062a \u0645\u0648\u062c\u0648\u062f \u062f\u0631 \u06cc\u06a9 \u0639\u0628\u0627\u0631\u062a \u062c\u0633\u062a\u062c\u0648 \u0634\u062f\u0647 (\u06a9\u0648\u0626\u0631\u06cc) \u0631\u0627 \u0628\u0647 \u0634\u06a9\u0644 \u062f\u0642\u06cc\u0642\u200c\u062a\u0631\u06cc \u062f\u0631\u06a9 \u06a9\u0646\u062f. \u062f\u0631\u0648\u0627\u0642\u0639 \u0645\u06cc\u200c\u062a\u0648\u0627\u0646 \u06af\u0641\u062a \u06a9\u0647 \u0627\u06cc\u0646 \u0627\u0644\u06af\u0648\u0631\u06cc\u062a\u0645 \u06cc\u06a9 \u06cc\u0627\u0631 \u06a9\u0645\u06a9\u06cc \u0628\u0631\u0627\u06cc \u06af\u0648\u06af\u0644 \u0627\u0633\u062a. \u0627\u0644\u06af\u0648\u0631\u06cc\u062a\u0645 BERT \u06a9\u0647 \u0645\u062e\u0641\u0641 Bidirectional Encoder Representations from…<\/p>\n","protected":false},"author":2,"featured_media":9806,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"om_disable_all_campaigns":false,"_monsterinsights_skip_tracking":false,"_monsterinsights_sitenote_active":false,"_monsterinsights_sitenote_note":"","_monsterinsights_sitenote_category":0},"categories":[695],"tags":[],"aioseo_notices":[],"amp_validity":null,"amp_enabled":true,"_links":{"self":[{"href":"https:\/\/walvira.com\/blog\/wp-json\/wp\/v2\/posts\/9802"}],"collection":[{"href":"https:\/\/walvira.com\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/walvira.com\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/walvira.com\/blog\/wp-json\/wp\/v2\/users\/2"}],"replies":[{"embeddable":true,"href":"https:\/\/walvira.com\/blog\/wp-json\/wp\/v2\/comments?post=9802"}],"version-history":[{"count":10,"href":"https:\/\/walvira.com\/blog\/wp-json\/wp\/v2\/posts\/9802\/revisions"}],"predecessor-version":[{"id":9817,"href":"https:\/\/walvira.com\/blog\/wp-json\/wp\/v2\/posts\/9802\/revisions\/9817"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/walvira.com\/blog\/wp-json\/wp\/v2\/media\/9806"}],"wp:attachment":[{"href":"https:\/\/walvira.com\/blog\/wp-json\/wp\/v2\/media?parent=9802"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/walvira.com\/blog\/wp-json\/wp\/v2\/categories?post=9802"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/walvira.com\/blog\/wp-json\/wp\/v2\/tags?post=9802"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}