Minerva Consulting AI & データエンジニア

業務の高速化・効率化の考え方と実装例

高速化

新着順 人気順

Excel テキストファイル読み込みを TextStream で劇的に高速化した

Excelで大量のテキストファイルを読み込む処理、「時間がかかるものだから仕方ない」と思っていませんか? 実は、読み込み方法を少し変えるだけで、処理時間が“10分の1以下”になる ケースがあります。 この記事では、Excel VBAでテキストファイルを読み込む…

SQL 高速化の金言

SQL_DX02_UNION BIサービス SQL高速化の仕組み SQL高速化 を考えてみます。 2つのレコードを接続するとき 例1 1万行の検査データ と 100行の 品目マスタデータ があり 検査データの 品目コードに 品目マスタの 品目名と標準原価をつなぐ。 方法 ①LEFT O…

書式が統一されたExcelブックが大量にある という業務はありませんか?

例えば日報、例えば検査成績書など、 1日分、1か月分、1年分… 数百、数千のExcelファイル 見たいのは「特定のセルに入っている数値」だけ しかし実際には、 1ファイルずつ開く 読み込むのを待つ 閉じる また次を開く… これだけで、膨大な時間が消えていきま…

SQL インデックスで高速化

数十万行から、目的の条件の最新データを1件探す。 通常、2分程度かかっていたが、インデックスで 1秒に短縮できた。 インデックスのクリエイト CREATE INDEX getLastData ON dbo.pVr_T_MEV ( Site,Line,Machine,MEV_NAME ) GO 結果 DECLARE @Site nvarch…

SQL 処理速度を高速化しませんか?

SQL_DX01_Join 【業務でよくある状況】 業務システムや帳票作成では、次のようなSQLを書くことが当たり前のようにあります。 伝票データ(検索テーブル) 商品・顧客・部署などのマスタテーブル ほとんどのSELECT文で JOIN が発生する しかし現場では、 と…