製造・物流ピッキング
注文書ピッキングロボット ─ WorkPeer × Robot Gateway × SmolVLA
手書きの注文書をWorkPeerで読み取り、部品マスタ照合、数量の正規化、承認、実行条件をOrder Contractとして整理し、Robot Gateway経由でSO-101ロボットアームのピッキングへつなげた技術デモです。VLAには「選ばれた1個をつかんで運ぶ」動作だけを任せ、注文の解釈、対象選択、数量管理、箱内検証は外側の明示的なロジックで管理します。
デモ動画
手書き注文書を撮影し、WorkPeerが注文内容を構造化し、Robot GatewayとSmolVLA系の制御でロボットが部品をピッキングするデモ動画。
対象部門
物流自動化・生産技術・ロボット導入部門
導入検討のきっかけ
手書き注文書やピッキング指示を、ロボットの実機動作まで安全につなげたい
業務上の課題
紙の注文書をOCR/VLMで読めても、そのままではロボットは動けません。「長いネジ2本」のような指示には、型番、数量単位、対象候補、検出信頼度、箱の検証条件、失敗時のリトライ方針が含まれていないためです。AIエージェントの出力をそのままロボットに渡すと、誤出荷やピッキング失敗が起きたときに、OCR、部品マスタ照合、対象選択、VLA、制御、検証のどこが原因か切り分けられません。
設計方針
WorkPeer、Order Contract、Robot Gateway、LeRobotランタイム、SmolVLAの役割を分けて設計します。WorkPeerは注文の意味理解、部品マスタ照合、承認、監査ログを担当し、Robot Gatewayはカメラ観測、対象候補の選択、1個ずつ取る作業への分解、箱内検証を担当します。SmolVLAは確定済みの対象IDに対して、接近、保持、搬送、載置という物理動作に集中させます。
開発の詳細
注文書入力では、スマートフォンで撮影した手書き注文票をOCR/VLMで読み取り、品名、数量、単位、表記ゆれを抽出します。崩し字、罫線ずれ、略称はVLMだけに任せず、部品マスタとの照合と人の承認フローで補完します。
Order Contractでは、order_id、part_id、display_name、quantity、bin、min_confidence、pick_constraint、verify条件を1つの構造化タスクとして定義します。Robot Gatewayは注文書画像を読み直さず、この仕様をもとに実行できます。
Robot Gatewayはカメラ画像から候補部品を検出し、クリアランス、アクセス方向、重なり、姿勢安定性を見て「今回つかむ1個」を対象IDとして固定します。条件を満たさない場合は、人に部品をばらすよう依頼する分岐を用意します。
SmolVLAの学習では、注文全体を丸ごと学ばせず、対象を1個つかむ、箱へ置く、失敗から復帰する、といった短いスキル単位のエピソードに分割します。Leader-Followerテレオペレーションでカメラ画像、関節角度、アクション、タイムスタンプを記録し、LeRobot形式で再学習に回します。
実行時は30Hz程度の制御ループで、非同期推論、action chunk、Temporal Ensembleを組み合わせ、VLA推論の遅延があってもロボットの動きが途切れないようにします。速度・加速度の上限、可動域の制限、低速接近、グリッパの開閉タイミングは別の制御層で担保します。
評価はpick_successだけでなく、detection_precision、place_success、order_success、箱内数量照合、失敗原因の分類まで追います。失敗を「VLAが悪い」で片付けず、認識、候補選択、保持、制御、検証のどこにデータを追加すべきか判断できる形にします。