Hatena Blog Tags
はてなブログ トップ
Databricks
このタグでブログを書く
言葉の解説
ネットで話題
関連ブログ

Databricks

このタグの解説についてこの解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。
Looop TechBlog•1ヶ月前

【Databricks】PythonでNotebookの複数削除を行ってみる

はじめに 利用するDatabricks Rest API 注意点 実践 Notebookの削除をするためには 完成形 ライブラリのインポート 変数定義 リクエストの記述 複数件実施するには？ 完成形 ポイント さいごに はじめに この記事は、以前投稿した「【Databricks】PythonでNotebookのフォルダ移動を実現してみた」に関連したものとなっています。 まだ、読んでいない方はぜひそちらもチェックしてみてください。 以前の記事では、DatabricksのAPIを使ってNotebookのフォルダ間移動を実現すると言うものでしたが、 その際の注意点として、「Notebookのエクスポ…

#LooopTechBlog#データ分析#Python#Databricks API#Databricks

関連ブログ

APC 技術ブログ•2ヶ月前

MLflow & Hyperopt を活用したDatabricks上での機械学習効率化①（ベースラインモデルの訓練まで）

はじめに GLB事業部Lakehouse部の長尾です。 本ブログ（と後編）では、Databricks社の Training machine learning models on tabular data: an end-to-end example (Unity Catalog) を参照して（2025年1月16日時点）、MLflow & Hyperoptを活用したDatabricks上で機械学習を効率化させるための実装・管理方法について紹介します。 ひとつのパターンとして本ブログでの一連の実行の流れを覚えておけると他のケースでも応用できるのではないかと考えています。 ※本ブログは上記参照先の内…

#Databricks#mlflow#Hyperopt#machine learning
every Tech Blog•2ヶ月前

Databricks Asset Bundlesを活用したAIプロダクトのCI/CDパイプライン

こんにちは。 開発本部のデータ&AIチームでデータサイエンティストをしている古濵です。 最近はAIプロダクト開発をメインで担当しています。 今回は、Databricks Asset Bundlesを活用して、AIプロダクト開発向けにCI/CDパイプラインを整備した内容をまとめます。 Databricks Asset Bundlesとは Databricks Asset Bundlesは、データやAIプロジェクトでソフトウェア開発におけるソース管理、コードレビュー、テスト、CI/CDなどを導入しやすくするツールです。 簡単に言えば、Databricksの各種リソースをInfrastructure…

#LLM-as-a-Judge#Databricks#mlflow#CI/CDパイプライン
Looop TechBlog•3ヶ月前

【Databricks】PythonでNotebookのフォルダ移動を実現してみた

はじめに 利用するDatabricks Rest API 注意点 実践 Notebookのエクスポート編 完成形 ライブラリのインポート 変数定義 リクエストの記述 Notebookのインポート編 完成形 ライブラリのインポート 変数定義 リクエストの記述 エクスポートとインポートを組み合わせてみる編 完成形 ポイント 複数件実施するには？ 完成形 ポイント さいごに はじめに 弊社ではDatabricksを運用していく中で徐々にNotebookが増え、整理する必要が出てきました。 そこで、手始めに一部共有フォルダ内の50件ほどのNotebookをフォルダ間移動、一部のリネームを行うこととなり…

#データ分析#Databricks#LooopTechBlog#Python#Databricks API
every Tech Blog•3ヶ月前

デリッシュAIのアーキテクチャ

この記事は every Tech Blog Advent Calendar 2024 の 14 日目の記事です。 はじめに こんにちは。 開発本部のデータ&AIチームでデータサイエンティストをしている古濵です。 直近開発に取り組んでいるデリッシュAIのアーキテクチャについてご紹介します。 DELISH KITCHENでは 「作りたい！が見つかる」をサービスのコンセプトとして、様々な機能を提供してきました。 一方、ユーザーひとりひとりの多様なニーズに合わせたレシピを提案していくには既存機能だけでは難しい部分があります。 そこで、AIによる料理アシスタントとして「デリッシュAI」ベータ版を一部ユー…

#LLM#OpenAI API#Databricks#RAG#生成 AI
APC 技術ブログ•4ヶ月前

Databricks Certified Generative AI Engineer Associate 合格記

はじめに 試験概要 試験対策 日本語試験の注意点 Chromeの翻訳機能について おわりに はじめに GLB事業部Lakehouse部の佐藤です。 このたび、Databricks Certified Generative AI Engineer Associateに日本語で合格しました。 この資格は今年から始まったもので、日本語の情報がまだ少ない状況です。 受験を考えている方の参考になればと思い、私が行った対策をまとめました。 試験概要 試験概要は以下の公式サイトで確認できます。 www.databricks.com また、公式ガイドも公開されており、例題が5問掲載されていますので、ぜひ目を通…

#Databricks#Databricks Certified
CCCMKホールディングス TECH LABの Tech Blog•4ヶ月前

DatabricksでOllamaを使ったLLMアプリの実験と検証をやってみました！

こんにちは、CCCMKホールディングスTECH LABの三浦です。 だいぶ気温が下がって、空気が乾燥してきたように感じます。すぐに手がしもやけになってしまうので、外に出る時は手袋をするようにしないと・・・と思います。 はじめに 先日Databricksの年次のイベント"Data + AI World Tour 2024 Tokyo"に参加しました。他社様のLLMを使った取り組みを聞くことが出来て、とても刺激になりました。特にLLMの動作の検証は単に「いい感じの結果が生成された」という感覚的な評価でなく、定量的な評価もしている、という他社様の取り組みを聞き、自身の今のLLMへの取り組み方を見直さ…

#生成AI#Databricks#LLM
APC 技術ブログ•5ヶ月前

dbt × Databricksによるデータ処理と品質管理の最適化②【継続的な運用のための仕組み】

はじめに GLB事業部Lakehouse部の長尾です。 これから始まる本ブログシリーズでは、Databricks上でのdbt活用に役立つ実践的なTipsをお届けします。 初めてdbtに触れる方から、既に使い慣れている方まで、幅広い層に向けた内容となっています。 また、11月には本シリーズに関連したウェビナーも予定していますので、ぜひご期待ください。 これからの投稿をお見逃しなく！ ウェビナーへのお申し込みはこちらからお願い致します。 本ブログは、dbt × Databricksによるデータ処理と品質管理の最適化①の続編です。 前回同様に本ブログもDatabricks社の「Best Practi…

#Databricks#dbt cloud#Data Engineering
APC 技術ブログ•5ヶ月前

dbt × Databricksによるデータ処理と品質管理の最適化①【データ処理・モニタリング】

はじめに GLB事業部Lakehouse部の長尾です。 これから始まる本ブログシリーズでは、Databricks上でのdbt活用に役立つ実践的なTipsをお届けします。 初めてdbtに触れる方から、既に使い慣れている方まで、幅広い層に向けた内容となっています。 また、11月には本シリーズに関連したウェビナーも予定していますので、ぜひご期待ください。 これからの投稿をお見逃しなく！ ウェビナーへのお申し込みはこちらからお願い致します。 本ブログは、Databricks社の「Best Practices for Super Powering Your dbt Project on Databric…

#Databricks#dbt cloud#Data Engineering
CCCMKホールディングス TECH LABの Tech Blog•5ヶ月前

Azure DatabricksでRAG AgentのModel Servingへのデプロイ・モニタリングまでを実装してみる！

テストからPoCへ RAG Agentの概要 PlaygroundからExportする Vector Indexにクエリ実行するFunctionが動かない・・・ agent Notebookの変更箇所 追加パッケージのインストール configの記述と出力 LLMとToolの定義 driverの変更箇所 追加パッケージのインストール Agentのロギングの見直し Evaluate Dataの変更 Agent(モデル)を登録する先の指定 Review Appを使う APIで利用する Agentのモニタリングダッシュボードを起動する ダッシュボード起動Notebookの取得 Notebookの変更…

#Databricks#LLM#Agent#RAG#Azure