thuongnghimemphis
New member
[TIẾNG VIỆT]:
## Hướng dẫn Amazon MWAA: Hướng dẫn từng bước
Dòng công việc được quản lý của Amazon cho Apache Airflow (MWAA) là một dịch vụ điều phối không có máy chủ giúp dễ dàng chạy Apache Airflow trên Amazon Web Services (AWS).Với MWAA, bạn có thể tập trung vào việc xây dựng quy trình công việc của mình, mà không phải lo lắng về việc quản lý cơ sở hạ tầng hoặc tài nguyên cung cấp.
Hướng dẫn này sẽ hướng dẫn bạn trong quá trình tạo và chạy một quy trình công việc đơn giản trên MWAA.Chúng tôi sẽ trình bày các chủ đề sau:
* Tạo môi trường MWAA
* Tạo ra một DAG
* Chạy một DAG
* Giám sát quy trình làm việc của bạn
## Điều kiện tiên quyết
Để hoàn thành hướng dẫn này, bạn sẽ cần những điều sau đây:
* Tài khoản AWS
* AWS CLI đã cài đặt và cấu hình
* AWS SAM CLI đã cài đặt và cấu hình
* Một trình soạn thảo IDE hoặc văn bản
## Tạo môi trường MWAA
Bước đầu tiên là tạo ra một môi trường MWAA.Môi trường MWAA là một nhóm tài nguyên hợp lý được sử dụng để chạy quy trình công việc của bạn.
Để tạo môi trường MWAA, bạn có thể sử dụng lệnh AWS CLI sau:
`` `
AWS MWAA tạo ra môi trường-tên
`` `
Ví dụ: lệnh sau đây tạo ra một môi trường MWAA có tên là "Môi trường My-MWAA" ở khu vực US-East-1:
`` `
AWS MWAA tạo ra môi trường-tên của tôi-MWAA-Môi trường-Region US-East-1
`` `
Khi môi trường được tạo, bạn có thể xem trạng thái của nó bằng cách chạy lệnh sau:
`` `
AWS MWAA Mô tả về môi trường-tên <Tên môi trường>
`` `
## Tạo DAG
Một DAG (biểu đồ acyclic được định hướng) là một tập hợp các tác vụ được chạy theo một thứ tự cụ thể.Để tạo DAG, bạn có thể sử dụng luồng khí Airflow hoặc UI Airflow Web.
Trong hướng dẫn này, chúng tôi sẽ sử dụng Airflow CLI để tạo ra một DAG đơn giản in ngày và thời gian hiện tại.
Để tạo DAG, bạn có thể sử dụng lệnh sau:
`` `
luồng không khí tạo ra hello-world
`` `
Lệnh này sẽ tạo ra một DAG có tên "Hello-World" trong thư mục "DAGS" của thư mục nhà luồng khí của bạn.
Tệp DAG sẽ chứa mã sau:
`` `
dag = dag (
DAG_ID = "Hello-World",
start_date = datetime (2023, 1, 1),
Lịch trình_interval = Không,
)
Nhiệm vụ = BashOperator (
Task_id = "print_date",
bash_command = "ngày",
dag = dag,
)
`` `
DAG này có một nhiệm vụ có tên là "print_date".Nhiệm vụ "print_date" chạy lệnh `date`, in ngày và giờ hiện tại.
## Chạy DAG
Để chạy DAG, bạn có thể sử dụng UI Airflow CLI hoặc Airflow Web.
Trong hướng dẫn này, chúng tôi sẽ sử dụng Airflow CLI để chạy DAG "Hello-World".
Để chạy DAG, bạn có thể sử dụng lệnh sau:
`` `
luồng không khí kích hoạt Hello-world
`` `
Lệnh này sẽ kích hoạt DAG "Hello-World" và chạy tác vụ "print_date".
Bạn có thể theo dõi tiến trình của DAG bằng cách sử dụng giao diện người dùng Web Airflow.
## Giám sát quy trình làm việc của bạn
Bạn có thể theo dõi tiến trình của quy trình làm việc của mình bằng cách sử dụng giao diện người dùng web Airflow.
Để truy cập UI Web Airflow, bạn có thể sử dụng URL sau:
`` `
<-mwaa-lomain>/admin/
`` `
Giao diện người dùng web Airflow sẽ hiển thị một danh sách tất cả các DAG của bạn.
Để xem chi tiết của DAG, nhấp vào tên DAG.
Trang chi tiết DAG sẽ hiển thị một danh sách tất cả các tác vụ trong DAG.
Để xem nhật ký cho một tác vụ, nhấp vào tên tác vụ.
Các nhật ký nhiệm vụ sẽ cho bạn thấy đầu ra của tác vụ và bất kỳ lỗi nào xảy ra.
## Phần kết luận
Trong hướng dẫn này, bạn đã học cách tạo và chạy một quy trình công việc đơn giản
[ENGLISH]:
## Amazon MWAA Tutorial: A Step-by-Step Guide
Amazon Managed Workflows for Apache Airflow (MWAA) is a serverless orchestration service that makes it easy to run Apache Airflow on Amazon Web Services (AWS). With MWAA, you can focus on building your workflows, without having to worry about managing infrastructure or provisioning resources.
This tutorial will walk you through the process of creating and running a simple workflow on MWAA. We'll cover the following topics:
* Creating a MWAA environment
* Creating a DAG
* Running a DAG
* Monitoring your workflow
## Prerequisites
To complete this tutorial, you will need the following:
* An AWS account
* The AWS CLI installed and configured
* The AWS SAM CLI installed and configured
* An IDE or text editor
## Creating a MWAA Environment
The first step is to create a MWAA environment. A MWAA environment is a logical grouping of resources that are used to run your workflows.
To create a MWAA environment, you can use the following AWS CLI command:
```
aws mwaa create-environment --name <environment-name> --region <region>
```
For example, the following command creates a MWAA environment named "my-mwaa-environment" in the us-east-1 region:
```
aws mwaa create-environment --name my-mwaa-environment --region us-east-1
```
Once the environment is created, you can view its status by running the following command:
```
aws mwaa describe-environment --name <environment-name>
```
## Creating a DAG
A DAG (Directed Acyclic Graph) is a collection of tasks that are run in a specific order. To create a DAG, you can use the Airflow CLI or the Airflow web UI.
In this tutorial, we'll use the Airflow CLI to create a simple DAG that prints the current date and time.
To create the DAG, you can use the following command:
```
airflow dags create hello-world
```
This command will create a DAG named "hello-world" in the "dags" directory of your Airflow home directory.
The DAG file will contain the following code:
```
dag = DAG(
dag_id="hello-world",
start_date=datetime(2023, 1, 1),
schedule_interval=None,
)
task = BashOperator(
task_id="print_date",
bash_command="date",
dag=dag,
)
```
This DAG has one task named "print_date". The "print_date" task runs the `date` command, which prints the current date and time.
## Running a DAG
To run a DAG, you can use the Airflow CLI or the Airflow web UI.
In this tutorial, we'll use the Airflow CLI to run the "hello-world" DAG.
To run the DAG, you can use the following command:
```
airflow dags trigger hello-world
```
This command will trigger the "hello-world" DAG and run the "print_date" task.
You can monitor the progress of the DAG by using the Airflow web UI.
## Monitoring your Workflow
You can monitor the progress of your workflow by using the Airflow web UI.
To access the Airflow web UI, you can use the following URL:
```
<your-mwaa-domain>/admin/
```
The Airflow web UI will display a list of all of your DAGs.
To view the details of a DAG, click on the DAG name.
The DAG details page will display a list of all of the tasks in the DAG.
To view the logs for a task, click on the task name.
The task logs will show you the output of the task and any errors that occurred.
## Conclusion
In this tutorial, you learned how to create and run a simple workflow
## Hướng dẫn Amazon MWAA: Hướng dẫn từng bước
Dòng công việc được quản lý của Amazon cho Apache Airflow (MWAA) là một dịch vụ điều phối không có máy chủ giúp dễ dàng chạy Apache Airflow trên Amazon Web Services (AWS).Với MWAA, bạn có thể tập trung vào việc xây dựng quy trình công việc của mình, mà không phải lo lắng về việc quản lý cơ sở hạ tầng hoặc tài nguyên cung cấp.
Hướng dẫn này sẽ hướng dẫn bạn trong quá trình tạo và chạy một quy trình công việc đơn giản trên MWAA.Chúng tôi sẽ trình bày các chủ đề sau:
* Tạo môi trường MWAA
* Tạo ra một DAG
* Chạy một DAG
* Giám sát quy trình làm việc của bạn
## Điều kiện tiên quyết
Để hoàn thành hướng dẫn này, bạn sẽ cần những điều sau đây:
* Tài khoản AWS
* AWS CLI đã cài đặt và cấu hình
* AWS SAM CLI đã cài đặt và cấu hình
* Một trình soạn thảo IDE hoặc văn bản
## Tạo môi trường MWAA
Bước đầu tiên là tạo ra một môi trường MWAA.Môi trường MWAA là một nhóm tài nguyên hợp lý được sử dụng để chạy quy trình công việc của bạn.
Để tạo môi trường MWAA, bạn có thể sử dụng lệnh AWS CLI sau:
`` `
AWS MWAA tạo ra môi trường-tên
`` `
Ví dụ: lệnh sau đây tạo ra một môi trường MWAA có tên là "Môi trường My-MWAA" ở khu vực US-East-1:
`` `
AWS MWAA tạo ra môi trường-tên của tôi-MWAA-Môi trường-Region US-East-1
`` `
Khi môi trường được tạo, bạn có thể xem trạng thái của nó bằng cách chạy lệnh sau:
`` `
AWS MWAA Mô tả về môi trường-tên <Tên môi trường>
`` `
## Tạo DAG
Một DAG (biểu đồ acyclic được định hướng) là một tập hợp các tác vụ được chạy theo một thứ tự cụ thể.Để tạo DAG, bạn có thể sử dụng luồng khí Airflow hoặc UI Airflow Web.
Trong hướng dẫn này, chúng tôi sẽ sử dụng Airflow CLI để tạo ra một DAG đơn giản in ngày và thời gian hiện tại.
Để tạo DAG, bạn có thể sử dụng lệnh sau:
`` `
luồng không khí tạo ra hello-world
`` `
Lệnh này sẽ tạo ra một DAG có tên "Hello-World" trong thư mục "DAGS" của thư mục nhà luồng khí của bạn.
Tệp DAG sẽ chứa mã sau:
`` `
dag = dag (
DAG_ID = "Hello-World",
start_date = datetime (2023, 1, 1),
Lịch trình_interval = Không,
)
Nhiệm vụ = BashOperator (
Task_id = "print_date",
bash_command = "ngày",
dag = dag,
)
`` `
DAG này có một nhiệm vụ có tên là "print_date".Nhiệm vụ "print_date" chạy lệnh `date`, in ngày và giờ hiện tại.
## Chạy DAG
Để chạy DAG, bạn có thể sử dụng UI Airflow CLI hoặc Airflow Web.
Trong hướng dẫn này, chúng tôi sẽ sử dụng Airflow CLI để chạy DAG "Hello-World".
Để chạy DAG, bạn có thể sử dụng lệnh sau:
`` `
luồng không khí kích hoạt Hello-world
`` `
Lệnh này sẽ kích hoạt DAG "Hello-World" và chạy tác vụ "print_date".
Bạn có thể theo dõi tiến trình của DAG bằng cách sử dụng giao diện người dùng Web Airflow.
## Giám sát quy trình làm việc của bạn
Bạn có thể theo dõi tiến trình của quy trình làm việc của mình bằng cách sử dụng giao diện người dùng web Airflow.
Để truy cập UI Web Airflow, bạn có thể sử dụng URL sau:
`` `
<-mwaa-lomain>/admin/
`` `
Giao diện người dùng web Airflow sẽ hiển thị một danh sách tất cả các DAG của bạn.
Để xem chi tiết của DAG, nhấp vào tên DAG.
Trang chi tiết DAG sẽ hiển thị một danh sách tất cả các tác vụ trong DAG.
Để xem nhật ký cho một tác vụ, nhấp vào tên tác vụ.
Các nhật ký nhiệm vụ sẽ cho bạn thấy đầu ra của tác vụ và bất kỳ lỗi nào xảy ra.
## Phần kết luận
Trong hướng dẫn này, bạn đã học cách tạo và chạy một quy trình công việc đơn giản
[ENGLISH]:
## Amazon MWAA Tutorial: A Step-by-Step Guide
Amazon Managed Workflows for Apache Airflow (MWAA) is a serverless orchestration service that makes it easy to run Apache Airflow on Amazon Web Services (AWS). With MWAA, you can focus on building your workflows, without having to worry about managing infrastructure or provisioning resources.
This tutorial will walk you through the process of creating and running a simple workflow on MWAA. We'll cover the following topics:
* Creating a MWAA environment
* Creating a DAG
* Running a DAG
* Monitoring your workflow
## Prerequisites
To complete this tutorial, you will need the following:
* An AWS account
* The AWS CLI installed and configured
* The AWS SAM CLI installed and configured
* An IDE or text editor
## Creating a MWAA Environment
The first step is to create a MWAA environment. A MWAA environment is a logical grouping of resources that are used to run your workflows.
To create a MWAA environment, you can use the following AWS CLI command:
```
aws mwaa create-environment --name <environment-name> --region <region>
```
For example, the following command creates a MWAA environment named "my-mwaa-environment" in the us-east-1 region:
```
aws mwaa create-environment --name my-mwaa-environment --region us-east-1
```
Once the environment is created, you can view its status by running the following command:
```
aws mwaa describe-environment --name <environment-name>
```
## Creating a DAG
A DAG (Directed Acyclic Graph) is a collection of tasks that are run in a specific order. To create a DAG, you can use the Airflow CLI or the Airflow web UI.
In this tutorial, we'll use the Airflow CLI to create a simple DAG that prints the current date and time.
To create the DAG, you can use the following command:
```
airflow dags create hello-world
```
This command will create a DAG named "hello-world" in the "dags" directory of your Airflow home directory.
The DAG file will contain the following code:
```
dag = DAG(
dag_id="hello-world",
start_date=datetime(2023, 1, 1),
schedule_interval=None,
)
task = BashOperator(
task_id="print_date",
bash_command="date",
dag=dag,
)
```
This DAG has one task named "print_date". The "print_date" task runs the `date` command, which prints the current date and time.
## Running a DAG
To run a DAG, you can use the Airflow CLI or the Airflow web UI.
In this tutorial, we'll use the Airflow CLI to run the "hello-world" DAG.
To run the DAG, you can use the following command:
```
airflow dags trigger hello-world
```
This command will trigger the "hello-world" DAG and run the "print_date" task.
You can monitor the progress of the DAG by using the Airflow web UI.
## Monitoring your Workflow
You can monitor the progress of your workflow by using the Airflow web UI.
To access the Airflow web UI, you can use the following URL:
```
<your-mwaa-domain>/admin/
```
The Airflow web UI will display a list of all of your DAGs.
To view the details of a DAG, click on the DAG name.
The DAG details page will display a list of all of the tasks in the DAG.
To view the logs for a task, click on the task name.
The task logs will show you the output of the task and any errors that occurred.
## Conclusion
In this tutorial, you learned how to create and run a simple workflow
