astamuse Lab
astamuse Labとは、アスタミューゼのエンジニアとデザイナーのブログです。アスタミューゼの事業・サービスを支えている知識と舞台裏の今を発信しています。
Kaggle Days Championshipに参加しました
今回の記事では、私が先日参加したKaggle Days x Z by HP World Championship (以降、Kaggle Days Championship) について紹介します。ただし、どれくらいCompetitionの内容に触れていいのかが不明なので、今回はタスクや解法の詳細には触れませんのでご理解願います。
私はチームで参加しましたが、チームメンバに恵まれたこともあり、上海開催ではPublic (CFDってなに 暫定順位) 11位 / Private (最終順位) 14位、ニューデリー開催ではPublic 4位 / Private 3位でした！各開催のいずれかで3位以内に入ると、バルセロナのオフラインでの最終開催への参加権を得ることができるので、私はスペインへ行くことができそうです。
Kaggle Days Championshipとは？
Kaggle Days Championshipは、KaggleとLogic AIが主催のMeetupイベントで、オンラインで12開催した後、最終イベントがバルセロナでオフライン開催される予定です。本記事執筆時点 (2021/12) では、2開催はすでに終了しています。参加費用は無料で、各MeetupではKaggle Grandmaster (GM) のプレゼンテーションの後、Competitionが開催されます。上述した通り、各オンラインの開催のいずれかで3位以内に入ると、バルセロナのオフラインでの最終開催への参加権を得ることができます。
- Opening・GMのプレゼンテーション: 計1-1.5時間程度
- Competition: 4時間
- Closing: 0.5時間程度
youtu.be
Competitionについて
いずれの開催でもCompetitionの時間内で試行錯誤ができるようにデータは比較的軽量にはなっているものの、特に画像や自然言語処理では大きなモデルを使って精度が上がることが多いので、計算リソースがある方が有利になるのは否めないと思います。とはいえ、Kaggle NotebookやGoogle Colabで参加しているユーザもいます。いずれにせよ、効率よく実験を行うことが求められているでしょう。
今後の開催について
| Location | 開催日 (UTC+9) | CFDってなに開始時間 (UTC+9) |
|---|---|---|
| Shanghai | 2021/11/18 (木) | 17:00 |
| New Delhi | CFDってなに2021/12/09 (木) | 19:30 |
| Moscow | 2022/01/13 (木) | 22:00 |
| San Francisco | 2022/02/18 (金) | 9:CFDってなに 00 |
| Mumbai | 2022/03/10 (木) | 19:30 |
| Beijing | 2022/03/31 (木) | 17:00 |
| Tokyo | 2022/04/21 (木) | 16:00 |
| New York | 2022/05/13 (金) | 6:00 |
| Dubai | 2022/06/02 (木) | 21:00 |
| Berlin | 2022/06/23 (木) | 24:00 |
| London | 2022/07/15 (金) | 1:00 |
| Paris | 2022/08/04 (木) | 24:CFDってなに 00 |
データエンジニアってなに？
どうもお久しぶりです、gucciです。
あと3ヶ月ほどで入社して4年が経とうとしています。時の早さに驚きが隠せません。
1年経つのが本当にあっという間ですが、よく過去を振り返る際にスポーツやイベント行事とマッピングして記憶することはありますよね。
今年は、我が東京ヤクルトスワローズがセ・リーグ制覇を成し遂げましたので忘れられない1年となりました。
コロナ禍で声を出しての応援はできませんが、やはりスポーツはいつの時代も熱くなれるとってもいいものですね。
スポーツから話を広げてみますと、
近年スポーツにおいてデータというのがかなり重要なファクターとなってきております。
例えば野球だと、投球を球速だけではなく回転数や回転軸で測り解析したり、
打者の打球方向の傾向から算出した守備シフトを敷いたり、
テレビで見ているとAIキャッチャーが次の球を予測したりといった面白い試みも見られます。
サッカーでも選手がどのぐらいスプリントしているか、パス成功率はどのぐらいかなどがすぐに可視化されるようになりました。
日常においても、スマホやIoT家電から大量のユーザデータが送受信される時代になり、
ビッグデータを分析し企業がデータドリブンで意思決定を行うような場面も増えてきていると思います。
大量のデータをもとに機械学習したAIの活用も増えてきました。
そう、まさに大ビッグデータ時代と言えると思います。
そんな時代においてデータエンジニアというのを生業にしている技術者がいます。
かくいう私もアスタミューゼでデータエンジニアになり3年が経過しようとしています。
そんなデータエンジニアがどういう存在なのかどんなことが求められるのかを今回はご紹介したいと思います。
データエンジニアってなにしてるの？
大規模データ基盤の構築・運用をしている人です。
データ基盤とは、データの取得・保管・加工・分析・提供を担う一連のシステム群のこといいます。
ちょっと何言っているかわからないですよね。
- そもそもデータがない。取得・蓄積のノウハウがない。
- データはあるのに全然整備されていないから活用できない。
- データサイエンティストがデータ整備の部分に多くの時間を取られモデル作成や分析に注力できない。
データを使える形で整備・提供し、適切に分析ができたらどんなに嬉しいでしょう。
そう、まさにこれがデータ基盤の構築です。
また必要であれば食材の下ごしらえまでやってあげたらシェフは大助かりですね。料理のみに集中し最大限のパフォーマンスを発揮することができます。
データサイエンティスト・データアナリストとの違いは？
- データエンジニア
- データ基盤を構築・運用して、データを活用できる形にする。
- データを分析し、データに意味を持たせることにより意思決定を可能にする。
- データを用いてアルゴリズム、統計分析、機械学習などを行い、未来予測やAI活用を行う。
上のイラストで挙げているシェフの部分がデータアナリストやデータサイエンティストに該当すると思われます。
とはいえこれらは密接に関連しています。
簡単にイラストで表すと以下のようになります。
明確な境界線というのはなく、なかにはデータ収集・整備から行うデータサイエンティストもいれば、データ活用・分析して意思決定を行うデータエンジニアもいると思います。
このように、データに軸を置いてお仕事している人という意味では仲間であり、
実際にデータ活用することを想定して基盤を作る必要があるのでとても密接に関わっている職種と言えます。データエンジニアに必要なスキルってなに？
データはどんどん巨大になってきています。
ネットワーク通信が加速度的に成長し、反面ストレージコストはどんどん下がってきています。
これにより大量に多様なデータがじゃぶじゃぶ出てくるので、ビッグデータという言葉が出てくるわけです。
こういったデータをどう捌くかがデータエンジニアの腕の見せ所です。- データベースの設計・運用
- パイプラインの設計
- 分散処理
- データの加工
データベースの設計・運用
そこで、長年の運用に耐えられるような柔軟なデータベースを設計できると、後から変更が必要になっても最低限の修正で済むためみんなが幸せになれます。
逆に入れ物がひどいと、抽出が困難になりデータ自体を有効活用するのが難しくなってしまいます。
RDB が主流ではありますが NoSQL の方が適している場合もあるでしょう。
近年ではどちらの力も併せ持った NewSQL も登場しています。
データのいわゆる入れ物であるデータベースを、データモデルに適切なアーキテクチャ選定・設計・運用することがとても大事になってきます。パイプラインの設計
前述のイラストで紹介したように、様々な食材（データ）を簡単に料理（データ分析）できる形にしてあげることがとても重要です。
データを取得しデータを加工しデータを使える形にしてあげる、そうした連続した処理を繋げることでパイプラインというのが構築されます。
そして、このプロセスを全て機械に任せることができれば、データ活用に多くの時間を割くことができますし、また新たなデータへと手を伸ばすこともできます。データにはそれぞれ性質がありどのようなパイプラインが適しているのかも多種多様です。
リアルタイム性が求められるならストリーミング処理が必要ですし、
日次や週次での定期実行であればバッチ処理で事足ります。
上流から下流へと滞りなくデータを処理して流してあげるパイプラインを設計することが運用という側面で重要になってきます。
人手でのバケツリレーではなく、機械による水道管を引いてあげるようなイメージです。何万件、何億件というデータを処理しようした場合に1つのコンピュータでやっていては何日、何ヶ月経っても終わらない可能性もあります。
大量データを扱うときにはたくさんのコンピュータで処理した方が絶対効率がいいですよね？
そんな処理のことを分散処理といいます。データの加工
一番大事なことを忘れてました。
仕入れた食材を加工できないとお話しになりませんね。
世の中には本当に様々なデータが存在します。- ファイル形式
- csv、tsv、xml、excel、json、html .
-
CFDってなに
- UTF-8、Shift-JIS、EUC .
- 大文字小文字、全角半角、思わぬ箇所に制御文字が隠れていたり、タイポがあったり .
多すぎますね。困ったものです。
人間が入力するようなデータには必ずちょっとしたミスも潜んでいます。
たとえ1%しか例外が存在しないという場合でも100万件の場合は1万件、1億件なら100万件にも及びます。このような多様なデータを加工して共通のフォーマットに落とし込み特定の箱に格納してあげる必要があるわけです。 こうした、データ加工・変換・格納のプロセスをまとめて ETL CFDってなに CFDってなに という言葉でよく表現します。
- Extract(抽出)
- Transform(変換)
- Load(格納)CFDってなに
データの処理自体が ETL ですし、広義な意味ではパイプラインも ETL と言えますね。
ぜひ ETL の名前だけでも覚えて帰ってください。データエンジニアってなにが楽しいの？
・・・こういうとカッコいいですが、実際は結構泥臭い側面も多いです。
実際に生のデータを見るのが非常に重要ですので、
抽出前のデータ、変換後のデータ、想定しない例外のデータ、などなどデータ自体と向き合う時間は必ず要るものでそこがとても大事な時間です。
「最近全然コード書いてないよ！」ということもままあります。
データモデルが把握できていない段階では「なんだよこのデータ、全然知らんよ！わからん！」となると思います。マイナス面を先に言ってしまいましたが、
自分の集めたデータのことを「このデータめっちゃお客さんに刺さります」と営業の方に言ってもらえたり、
データアナリストが素晴らしい分析をした物凄いレポートを見せてもらったり、
データサイエンティストがどんでもないアルゴリズムでデータ活用をしている姿を見ていると、
「あぁ、データ、役に立ってるんだな・・・」と実感できます。いかがだったでしょうか。
かなり抽象度の高い内容だったので、結局なにしているか全然わからなかったという方もいるかもしれません。
「データエンジニアっていうのが存在するんだな」と認識してもらえればもうバッチリです。
また、エンジニアの方は「データエンジニア、ちょっと面白そうやん」と思っていただけたら幸いです。これからもっともっとデータが重要な時代になってくると思います。
よりリアルタイムなデータが活用されていくでしょう。
あと数年〜数十年は、データ整備には人間の手がまだ必要だと思います。
データエンジニア、やってみましょう。
そして、弊社で共にデータ基盤を作りましょう。タリタリ（TariTali）ってなに？評判は？
第 2 位
第 CFDってなに 5 位
「TariTali（タリタリ）」って、Twitterなんかでたまに見かけるけど、いったいなんなの？って思ったことありませんか？
キャッシュバックサイトらしいけど、どういう仕組なんだろうって思いますよね。
今回は、FXキャッシュバックサイトとして有名な「TariTali（タリタリ）」の仕組みについて以下の3点について解説していきます。
- キャッシュバックサイトとは？
- キャッシュバックサイトの仕組みは？どのようにして還元されるのか？
- TariTali（タリタリ）の評判・評価とは？
キャッシュバックサイトとは？
キャッシュバックサイトとは？
キャッシュバック業者を大雑把に述べると、アフィリエイト業者のようなものです。厳密に述べるならばIB（Introducing Broker）業者。IB業者によるスプレッドバックの仕組みは古くから存在します。
夏のボディになにかが起きる・・・ トリプルバリアってなに? 夏のクイズ出る出るキャンペーン
薄着の夏、到来! 脂肪・糖・塩分をたっぷり摂ってきたあなたのボディになにかが起きる!? 夏目前の今こそ注目の「トリプルバリア」に関するクイズに答えて、とっても魅力的なオリジナルグッズを当てちゃおう!
トリプルバリア公式Twitter (@triplebarrier) をフォローして、「#トリプルバリアってなに」がついた投稿からクイズの答えを選んでリツイートorいいねで回答してくれた方の中から抽選で合計3,000名様にオリジナルグッズ (CFDってなに Tシャツ、スプーン) やトリプルバリアが当たるキャンペーンを実施します。クイズは全4問、期間中はいつでも参加可能です。さらに、クイズに正解するごとに当選確率がアップします!
キャンペーン終了後、当選者には日清食品グループ オンラインストア限定の特別優待をご用意しております!
キャンペーン概要
トリプルバリア公式Twitterアカウント (@triplebarrier) をフォローして、「#トリプルバリアってなに」がついた投稿からクイズの答えを選んでリツイートorいいねで回答! キャンペーン期間中に全4問出題されるクイズのうち、1問でも正解すれば応募は完了ですが、より多くのクイズに正解すると、さらに当選確率アップ。
抽選で合計3,000名様にトリプルバリアオリジナルグッズやトリプルバリア商品をプレゼント。■ キャンペーンタイトル 夏のボディになにかが起きる・・・ トリプルバリアってなに? 夏のクイズ出る出るキャンペーン
■ キャンペーン期間 2022年6月20日(月) 11:00 ～ 7月7日(木) 23:59
■ キャンペーン賞品 A賞：バリアマンTシャツ 1枚 (※男女兼用XLサイズ) ＋トリプルバリア青りんご味5本入×1箱 (100名)
B賞：バリアマンスプーン 1個＋トリプルバリア青りんご味5本入×1箱 (500名)
C賞：トリプルバリア青りんご味5本入×1箱 (2,400名)
合計3,000名
※景品はお選びいただけません。■ 応募方法 1. トリプルバリア公式Twitterアカウント (@triplebarrier) をフォロー。
2. 2022年6月20日(月) ～ 2022年7月7日(木) にトリプルバリア公式Twitterに投稿された「#トリプルバリアってなに」がついた投稿からクイズの答えを選んでリツイートorいいねで回答。
キャンペーン期間中に全4問出題されるクイズのうち、1問でも回答すれば応募は完了となります。さらにクイズに正解すると当選確率アップ。 CFDってなに
3. ご当選者様には7月末までにダイレクトメッセージにて配送先入力フォームをご連絡いたします。
※抽選の対象となるのは、リツイートorいいねのみで、コメントを付記した引用リツイートは抽選対象外となります。
※応募にはTwitterアカウントが必要です。アカウントをお持ちでない方はTwitter公式サイトにて無料で取得できます。
※既にトリプルバリア公式Twitterアカウントをフォローされている方は、2のみで応募できます。
※本応募に際して、製品の購入の必要はございません。
※フォローを外すと当選通知がお受け取りになれませんのでご注意ください。■ 応募資格 賞品発送の都合により、日本国内にご在住の方に限ります。
バナナマンの日村さんが好きな方。脂肪、糖、塩分が入った食事が大好きな方。食後の中性脂肪、血糖値、高めの血圧を下げたいと思っている方。■ 当選発表 ・応募者の中から厳正なる抽選のうえ、ご当選者様にはトリプルバリア公式Twitterアカウント (@triplebarrier) から、ダイレクトメッセージをお送りいたします。トリプルバリア公式Twitterアカウントのフォローを外さずにお待ちください。ダイレクトメッセージではご当選のご連絡及び賞品のお届け先情報を入力していただく専用フォームのURLをお送りいたします。なお、落選の場合の通知はございません。あらかじめご了承ください。
・専用フォームに必要事項 (TwitterアカウントのユーザーID、氏名、郵便番号、住所、電話番号、メールアドレス) をご入力のうえ、ご送信ください。■ お問い合わせ先 日清食品グループ ウェブダイヤル
お問い合わせ電話番号 0120-208-802
受付時間 9:00 ～ 17:00 (土・日・祝日を除く)■ ご注意 ・本キャンペーンはパソコン / スマートフォンからの応募となります。
・本応募に際して、製品の購入の必要はございません。
・賞品発送に関しては応募フォームに入力いただき次第、順次発送とさせていただきます。
・応募に関しては2022年6月20日(月) ～ 2022年7月7日(木) の間 にトリプルバリア公式Twitterに投稿されたクイズ投稿に対しリツイートorいいねで回答された方のみ対象とさせていただきます。 CFDってなに
・次のいずれかに該当する場合、当選者の当選権利は無効となります。
-トリプルバリア公式Twitterアカウント (@triplebarrier) のフォローを解除または当選者がご自身のアカウントを削除・変更等されたことによりダイレクトメッセージを受信できなかった場合。
-当選メッセージを受け取った後、一定の期間の間に賞品のお届け先情報を送信いただけない場合。
-当選者の住所が不明、連絡不能などにより、賞品のお届けができない場合や賞品の発送先が日本国外の場合。
・抽選結果についてのお問い合わせには一切お答えできませんのであらかじめご了承ください。
・インターネット通信料・接続等の費用は全てお客さまの負担になります。
・応募の際は、応募者の投稿内容等が著作権等の知的財産権、肖像権、パブリシティ権、プライバシー権その他第三者の権利を侵害しないように十分ご配慮ください。応募者の投稿内容などにより第三者間でトラブルが発生した場合、当選者ご自身の責任と負担によりこれを解決するものとし、当社は一切の責任は負わないものとします。
・公序良俗に反する行為、法令に違反する行為又はそれらの恐れのある行為は禁止です。
・同一住所からの応募や複数のアカウントを作成して応募されますと、当選資格の失効ならびに、Twitter社の規約に則り、アカウントを凍結される可能性がございます。
・同じ内容の繰り返し投稿または、ほぼ同じ内容の繰り返し投稿は、Twitterルールに違反しますので、ご注意ください。
・本キャンペーンはTwitter社の提供・協賛によるものではありません。
・Twitter及び関連するアプリケーションの動作環境により発生する本キャンペーン運営の中断または中止によって生じるいかなる損害についても当社が責任を負うものではありません。■ 個人情報について ・本キャンペーンのご応募に際し、ご入力いただきましたお客さまの個人情報 (郵便番号、住所、氏名、電話番号、メールアドレス等) につきましては、賞品の抽選・発送等、本キャンペーンの目的に利用させていただきます。
・その他お客さまの個人情報の取扱いについては、日清食品グループのプライバシーポリシーをご覧ください。タリタリ（TariTali）ってなに？評判は？
第 2 位 CFDってなに
第 5 位
「TariTali（タリタリ）」って、Twitterなんかでたまに見かけるけど、いったいなんなの？って思ったことありませんか？
キャッシュバックサイトらしいけど、どういう仕組なんだろうって思いますよね。
今回は、FXキャッシュバックサイトとして有名な「TariTali（タリタリ）」の仕組みについて以下の3点について解説していきます。
- キャッシュバックサイトとは？
- キャッシュバックサイトの仕組みは？どのようにして還元されるのか？
- TariTali（タリタリ）の評判・評価とは？
キャッシュバックサイトとは？
キャッシュバックサイトとは？
キャッシュバック業者を大雑把に述べると、アフィリエイト業者のようなものです。厳密に述べるならばIB（Introducing Broker）業者。IB業者によるスプレッドバックの仕組みは古くから存在します。
VRChatの初心者案内ってなに？→初心者案内を行っているVRChatプレイヤーにその理由を尋ねてみました。
▲ 日本語対応Portal World『USiOPORT ウシヲポート』では日本コミュニティの交流スポットへのポータルが設置されている
こうした行為の多くは『集会所』や『チュートリアルワールド』と呼ばれる場所で行われることが多いです。これらのワールドもVRChatオフィシャルで用意されているものではなく、有志のユーザーが独自で制作したものです。
新たな仲間と一緒に過ごしたいという思い
▲初心者さん案内クラブnoteより https://note.com/kanzuki_nagi/n/ndc29d2b08c68
こうした共有の言語を持つ人と出会う事の難しさゆえに、プレイを諦めてしまう人も多く、『なんとかこの世界に来た人と一緒に楽しんでいきたい』という気持ちから、VRChatを始めたばかりのユーザーに案内をし始めたというのが初心者案内の原点のようです。
自分の好きなものを分かち合いたいという気持ち
特にニッチな分野だと、その魅力を相手にも分かってほしいという気持ちが大きくなるもの。
メタバースの世界もまだまだ発展途上の文化ですから『この体験を相手にも理解してほしい』という気持ちを抱いている人は多いようです。こうした気持ちから、新しくこの世界にやって来た人に対し『こんな楽しみ方があるよ』『こういう事をしている人がいるよ』と案内を行う動きが自主的に行われているのです。
『せっかくやってきてくれたユーザーに悲しい思いをしてほしくない』という気持ちも初心者案内を行う動機になっているようです。
初心者さん案内クラブを行っているカンヅキ・ナギさん(@Kanzuki_Nagi)は、『Twitterなどでも「VRChatはじめたけど何にも分からない」や「怖い、面白くない」など、はじめた段階でいい人に出会えずに挫折してしまう方をよく目にします。そんな方に少しでもVRChatの楽しさを安心して感じてもらいたいと思って初心者案内を始めました。』と語ってくれました。
初心者案内自体がコミュニケーションに
▲JPイロドリノ庭には日本人コミュニティのポスターが数多く展示されている
『最初はVRCを始めたばかりの新規ユーザーに、マイクの設定のしかたが分からないんだけど、とか、カメラを撮りたい時はどうしたらいいの？と質問されることが多くて。そうしたやり取りを繰り返していく中で“初心者案内”という活動がある事を知ったんです。じゃあ私たちもやってみようかなって。』
現在Richukoさん、レンちゃんさんは自分たちで初心者が集まる集会場ワールド『JPイロドリノ庭』を作り、ワールドにやって来た初心者を案内する活動をしているそうです。
ワールドに遊びに行く
VRChat初心者案内で受け継がれる親切のバトン
上記に上げた理由以外にも人それぞれ初心者案内をする理由はありますが、一番多く聞かれたのは『私も初心者の時に親切にしてもらったから』という理由でした。
人から人へやさしさが伝染していく、こうして親切の輪が広がって行われているのがVRChat初心者案内文化の骨幹となっているようです。
関連記事
コメント