【Appsheet】★Gemini-1.5-Flash★マルチモーダルで作る ～名刺管理アプリ～
Вставка
- Опубліковано 7 вер 2024
- 【この動画のキーワード】
#appsheet #gemini #flash #geminiapi #ocr #automation #gas #マルチモーダル
＊～＊～＊～＊～＊～＊～＊～＊～＊～＊～＊～＊～＊～＊～＊～＊～＊～＊～＊
【チャンネル説明】
・Appsheet、Looker studioをメインに、他チャンネルでは取り扱わない高度なテクニックをご紹介します！Appsheet、Looker studioを本気で勉強したい方は、ぜひチャンネル登録してください🤗
・今回はGemini-1.5 APIとAppsheetの連携について解説します。
【Gemini API 無料サービスを使用する際の注意点 ※2024/6/9時点】
こちらにある通り、データ活用に関して以下の注意点があります。
ai.google.dev/...
無料サービスには機密情報や個人情報を送信 しないようにしましょう！！
******************************************************
Google のプロダクト、サービス、機械学習技術の提供、向上、および開発のためにこのデータを使用します。
品質の向上とプロダクトの改善のため、人間のレビュアーがユーザーの API 入出力を確認し、 注釈を付け、処理を行うことがあります。このプロセスの一環として、Google は プライバシーを保護するための措置を講じます。これには、 レビュアーが確認したり注釈を付けたりする前に、このデータをユーザーの Google アカウント、API キー、Cloud プロジェクトから切り離すことが 含まれます。無料サービスには機密情報や個人情報を送信 しないでください。
＊～＊～＊～＊～＊～＊～＊～＊～＊～＊～＊～＊～＊～＊～＊～＊～＊～＊～＊
・料金について
ai.google.dev/...
・GCP（Googleクラウド）
console.cloud....
・GCPプロジェクトとは
• 【Bigquery 入門】開始前の準備と諸説明
・Google AI Studio
makersuite.goo...
・今回使用したGAS
script.google....
・Gemini API モデル
ai.google.dev/...
・パラメータについて
cloud.google.c...
・【ココナラ】UA-camでご紹介したアプリをシェアします
coconala.com/s...
・【ココナラ】開発・その他のご相談はこちら
coconala.com/s...
・【ココナラ】アプリ開発承ります
coconala.com/s...
・【ココナラ】Looker Studio教えます
coconala.com/s...
・X(旧Twitter)やってます
/ irukano_ecchan
・声の出演
Voiced by CoeFont.cloud
【Gemini API 無料サービスを使用する際の注意点 ※2024/6/9時点】
こちらにある通り、データ活用に関して以下の注意点があります。
無料サービスには機密情報や個人情報を送信 しないようにしましょう！！
ai.google.dev/gemini-api/terms?hl=ja
【動画内の式について】
本動画内で [氏名] や [社名] などの Show_If（SHOW?）で以下のような式を記述していました。
【★動画内の式★】
OR(
CONTEXT("VIEWTYPE")Form,
AND(
CONTEXT("VIEWTYPE")=Form,
[表示]
)
)
👇これを以下のように書いても同じ結果を返します。
【★改良版の式★】
SWITCH(CONTEXT("VIEWTYPE"),
Form, [表示],
TRUE
)
こちらの方が式全体がスッキリ見えますね🤗
いつも分かりやすい配信ありがとうございます。
AI回答→振分けは出来たのですが、読取精度は60点といった感じです。
質問ですが、読取精度の調整はパラメータ調節しかないのでしょうか？
例えば読取結果に対し手動で修正解答を入力することで、AIに学習させることは可能なのでしょうか？
＞読取精度の調整はパラメータ調節しかないのでしょうか？
私はAIの専門家ではないので、あまりたいした事は言えませんが、
AIの回答精度をあげるには、RAGやファインチューニング（例：会社独自の情報を学習させる）、またネット検索など様々な方法がありますが、
本件で取り扱った内容であれば、基本的に一般的な知識だけで解ける問題だと思います。
ですので、基本的には使ったAIモデルの性能に頼らざるを得ないと思っています。
我々、AIユーザーにできる事があるとすれば、パラメータ調整以外には、「プロンプトを改良する」という事くらいでしょうか🤔
＞例えば読取結果に対し手動で修正解答を入力することで、AIに学習させることは可能なのでしょうか？
GCPなどには、自分で画像を学習させて独自のAIを構築できるプラットフォームなどもあるようですが、
それでも、現在の生成AIを超えるような精度を出すのは至難の業のように思います😅
やはり最も現実的で効果的な方法は、「プロンプトを改良する」ことかと個人的には思っています。
【その他 参考動画】
・chatGPT-4oを使用した 伝票管理アプリ
ua-cam.com/video/8R6pciOdhc0/v-deo.html
・各モデルの比較（chatGPT-4o系・Gemini-1.5系）
ua-cam.com/video/PuP6BmwHoH0/v-deo.html
いつもわかりやすい動画ありがとうございます！とても勉強になります！
質問ですが、AI回答まではうまく作動しましたが、取得したデータを各項目（氏名・社名、、）に入力されません。エラーなどが出ていないのでどこを改善すればいいのかわからない状態です。
名刺に問題があるのかと思い、別のものでやりましたが、2枚目以降はAI回答もされなくなりました、、
どのようにすれば、改善できますでしょうか？geminiの無料プランだからうまくいかないんですかね？？
コメントありがとうございます😊
＞AI回答もされなくなりました
まず、ここが出力されなければ前に進めませんので、以下をご確認頂く事をお勧めします。
・私自身の経験でもそうでしたが、そもそも画像によってはAIが何も回答を返さない事もありました。
・GASスクリプトにAPI-KEYが正しくセットされているか確認
・Monitor画面の確認
①AutomationのMonitorボタンを押下
②Runsタブで該当のアプリを選択
③BotsのStatusログにErrorがある場合は、ここを参照下さい。
＞geminiの無料プランだからうまくいかないんですかね？？
無料だから出力されない、という事はありませんが、以下の可能性はあります。
■無料使用枠の制限を超えている
こちらの料金表にある通り、無料枠には制限があるので、これを超過している可能性はあります
ai.google.dev/pricing?hl=ja
上記でも解決されないようでしたら、以下サービスをご検討下さい。（※有料です）
coconala.com/services/2617027
@@irukano_ecchan
ご回答ありがとうございます！
おっしゃる通り、確認したら、BotsのStatusログにErrorが起きてました！
process>stepsの部分で、3:取得した値を入力という部分が出ないようになってました。色々原因を探ってみます🤔