Poslovi budućnosti
Pronalazimo i pripremamo te za nove, perspektivne profesije koje će oblikovati tržište rada.
Možete li mi preporučiti neke NLP/NLU python biblioteke za pravljenje sistema umjetne inteligencije?
-
Možete li mi preporučiti neke NLP/NLU python biblioteke za pravljenje sistema umjetne inteligencije?
Pravim određenu vrstu AI novinara, tj novinar al koji je u suštini kompjuterski program, ideja je da uzima sapoštenja koje šalju razne institucije, firme i NVO i da napiše novinski članak ili vijest na osnovu tog saopštenja. Proveo sam dobar dio vremena organizujući i labelujući training dataset koji sam dobio od SRNA-e Negdje se sastoji od preko 500 Saopštenja i članaka/vijesti vezanih za ta saopštenja. Sad treba napraviti sistem koji će učiti kako napisati vijest od toga. Ali da je sve na engleskom bilo bi ovo lako, ali iz razloga što je čitav dataset na Srbskom/Bosanskom/Hrvatskom trebaju mi zamjene za python biblioteke koje inače koristim za NLU/NLP
Inače koristim nltk LancasterStemmer iz nltk biblioteke https://www.nltk.org/ i za za tokenizaciju ako nije neki kompleksan text StringTokenizer iz iste.
Također u zavisnosti od zadatka i sparkNLP: https://github.com/JohnSnowLabs/spark-nlp
I naravno ni jedan sistem umjetne inteligencije ne bi bio kompletan bez Tensorflow https://www.tensorflow.org/
Ali sada nakon dužeg kopanja kroz dokumentaciju ovih biblioteka shvatio sam da ili ne podržavaju naše jezike ili u veoma ograničenoj varijanti. Pa mi sada trebate preporučiti neke NLU/NLP python biblioteke.
Na netu sam pronašao par koje možete pronaći ovdje: https://github.com/topics/serbian-language
Naravno moram se zahviti Vuku Batanoviću koji je kreator 70% svih ovih biblioteka.
Ako znate za još neku NLP/Machine learning biblioteku koja podržava naš jezik molim vas napišite je u odgovoru. Ako imate još neku preporuku ili neke savjete slobodno i njih navedite.
Hvala vam unaprijed
-
1 Reply
-
Pozdrav Siniša, provjerit ću s partnerima iz BIRD inkubatora, no dajte mi molim nekoliko dana vremena da vidim mogu li na ovakvo pitanje dobiti odgovor u okviru naše standardne suradnje!
Log in to reply.
