QEU_ROUND2-3：　大規模言語モデル(LLM)上にQEUシステム(world)を構築する

～ これは便利そうなサービスだ！ ～ QEU:FOUNDER ： “例の「御大（レジェンド）」が、新しいコースを発表しましたよ。” D先生 ： “この若い女性が Finetuneの会社の経営者 でしょ？この人の名前は、あちこちで聞いたことがあるなあ・・・。C国の女性か？” QEU:FOUNDER ： “多分ね・・・。だから、「J国すごい」系の ご立派な方々 は見ないでください（笑）。小生も論文で何回も名前を見ました。彼女って、スタンフォード大の卒業でしょ？だから、Laminiなんですよ。” D先生 ： “ スタンフォードといえば、・・・Alpaca・・・ 。そうか、なるほどね・・・。ちょっと、彼女の会社のページを見てみましょう。Laminiはスタートアップしたてのようで、Webページも、とてもシンプルです。” C部長 : “なぜ、LLM（大規模言語モデル）のFinetuneがビジネスになるんだろうか・・・？” QEU:FOUNDER ： “まずは、C部長のその問いについて考えましょう。それでは、プログラムをドン！！” ! pip install lamini # ----- # from llama import LLMEngine , Type , Context class Test ( Type ): test_string : str = Context ( "just a test" ) #llm = LLMEngine(id="my_test") llm = LLMEngine ( id = "example_llm" , config = { "production.key" : "<YOUR TOKEN>" } ) test = Test ( test_string = "which mountain is the highest in the world?" ) str_out = llm ( test , output_type = Test ) print ( st...

～ これは、とても重要なオリエンテーションです ～ D先生 ： “別のブログでLangChain(Vector Store)の応用のプロジェクトが終わり、やっと、この「fine tuning」のブログに戻ってきました。・・・、いや、いままで長かった・・・（笑）。” QEU:FOUNDER ： “それにしても、LangChainを使うことによって、LLMの応用の広さと深さをより理解できましたね。今回は、ちょっと「深い」オリエンテーションです。。” C部長 : “これ（↑）って、大きな問題になっていますが、偉い人によると問題ないんでしょ？ 「meti」とかいう、「健康に責任を持つ省」が安全といっている んだし・・・。” C部長 : “処理した後の水には 「トリチウム」しかない んでしょ？” D先生 ： “どうなんでしょうね。とある、有名なジャーナリストのツイッターを参考にしましょう。” QEU:FOUNDER ： “とても残念ながら、あの水にはストロンチウムとセシウムが少量ながら残留しているようです。” （ストロンチウム） （セシウム） C部長 : “でも少量なんでしょ？健康に影響はないんでしょ？” QEU:FOUNDER ： “それでは、この2つの物質について調べてみましょう。まずは、我々が今まで使ってきたLlama2からしらべましょう。” # llama2-13B-chat-GPTQによる単発LLM回答プログラム import pandas as pd import numpy as np from langchain import HuggingFacePipeline from langchain import PromptTemplate , LLMChain from transformers import AutoTokenizer , pipeline , logging from auto_gptq import AutoGPTQForCausalLM , BaseQuantizeConfig # モデル名 model_name_or_path = "TheBloke/Llama-2-13B-chat-GPTQ...